Issue with Character Encoding in WeChat Official Article Crawling

[ldjing]

Self Checks

• This is only for bug report, if you would like to ask a question, please head to Discussions.
• I have searched for existing issues search for existing issues, including closed ones.
• I confirm that I am using English to submit this report (我已阅读并同意 Language Policy).
• [FOR CHINESE USERS] 请务必使用英文提交 Issue，否则会被关闭。谢谢！:）
• Please do not modify this template :) and fill in all the required fields.

Dify version

1.0.0 & 0.15.3

Cloud or Self Hosted

Self Hosted (Docker)

Steps to reproduce

I added a web crawler to the workflow to scrape content from WeChat Official Articles (a critical resource for Chinese users, as these articles are widely accessed in China):

The crawled results show garbled characters. For example:
\nTITLE: 国际罕见病日｜“罕见”也需要被“看见”

The correct text should be (Chinese required here as the original content is Chinese):
\nTITLE: 国际罕见病日｜“罕见”也需要被“看见”

The crawler works normally with other websites, but consistently produces severe garbled characters exclusively for all WeChat Official Articles. Notably, the issue only affects Chinese characters and symbols, while English letters and symbols remain intact.

the whole results below:
{ "text": "\nTITLE: 国际罕见病日｜“罕见”也需要被“看见”\nAUTHORS: None\nPUBLISH DATE: None\nTOP_IMAGE_URL: \nTEXT:\n\n2025年2月28日是第18个“国际罕见病日”今年的主题是“不止罕见”提起罕见病人们的心头不免掠过一丝忧伤它的未知与神秘让我们不得不正视医学的局限也让很多孕妈和宝妈担忧和忐忑罕见病其实不罕见罕见病，又称“孤儿病”，是指流行率很低、很少见的疾病。不同国家和地区对罕见病的定义有所不同，而世界卫生组织定义，患病人数占总人口0.65‰—1‰之间的疾病或病变，属于罕见病。大家比较熟悉的罕见病有“渐冻人症”（肌萎缩侧索硬化症）、“月亮的孩子”（白化病）、“瓷娃娃症”（成骨不全症）、“不食人间烟火的天使”（苯丙酮尿症）等。目前，全球已知罕见病超过7000种，患者总数达3亿多人，我国现有各类罕见病患者超2000万人。罕见病是如何发生的？研究表明，约80%的罕见病是由遗传缺陷引起的，约有50%的罕见病在出生时或者儿童期即可发病。从遗传学上讲，人类在不断繁衍、进化的过程中，由于多种多样的原因，导致常规染色体遗传可能发生突变。这其中有些是为了适应环境而发生的有利突变，也有些是随机突变，可能改变基因的正常功能，进而导致疾病，引发临床症状。如何预防罕见病的发生？医学文献称，每个人身上都有5—10个缺陷基因，一旦夫妻双方拥有相同的缺陷基因，就有可能生下有罕见病的宝宝。因此，把好预防关，早发现、早干预才是罕见病防治的最佳途径。通过婚前或孕前筛查、产前筛查和产前诊断、新生儿筛查的三级预防策略，可以有效防范罕见病的发生。一级预防：婚前或孕前进行携带者筛查这是主要针对普通人群的预防，避免怀上患有罕见病的孩子。对于常染色体隐性遗传病来说，也许本人和家庭没有患病个体，但可能携带风险基因，如果配偶同样携带这种基因，就有发病的风险。比如，在我国的两广地区就有针对地中海性贫血疾病的人群筛查，那么即使筛出夫妻双方都携带致病基因，在生育的过程中也可以做针对性的产前检查，防止新生儿患病。二级预防：产前筛查结合产前诊断预防罕见病患儿出生图片由AI生成这是针对高危人群的预防，即夫妻之前生育过患有罕见病的儿童，或者家族成员中有患罕见病，就可以针对性地检测致病基因，通过产前诊断或试管婴儿技术植入前遗传诊断来判断患儿是否患病，以便做出适宜的生育选择。在高通量测序技术广泛应用临床之后，一些发达国家也提倡对普通孕妇筛查常见的一百多种罕见病，如果孕妇是致病基因携带者，那么就要给男方做筛查，如果男方同样是携带者，就要给胎儿做宫内诊断。三级预防：新生儿筛查在孩子发病之前，做到早期诊断和早期治疗，加强终生随访管理、药物控制。比如某些罕见病在发病之前，药物控制效果非常好，那么孩子很可能像普通人一样健康成长。罕见病是人类疾病的缩影随着人类对疾病研究的深入越来越多的罕见病被发现和认识只要有生命的传承就有发生罕见病的可能面对这些不能承受的生命之痛除了理解、关爱和必要时伸出援手最重要的是从你我做起科学预防尽量减少罕见病的发生\n", "files": [], "json": [] }

✔️ Expected Behavior

Given that WeChat Official Articles represent a significant portion of internet resources accessed by Chinese users, we kindly request the development team to prioritize resolving this encoding issue.

❌ Actual Behavior

No response

[ldjing]

Test URL for Reproduction:
https://mp.weixin.qq.com/s/qbAUOtdTq3oe2OoZbl9OAQ