爬虫遇到脏数据，无法解码，有什么办法吗？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2993 天前的主题，其中的信息可能已经有所发展或是发生改变。

爬腾讯新闻的数据，频率稍微高一点，就收到脏数据了。我猜应该是被故意污染了，频率低的时候，收到的数据是正常可以解码的，稍微高一点，就无法解码了。可以随便试试：

http://society.qq.com/a/20171106/002159.htm

3 条回复 • 2017-11-08 08:49:24 +08:00

golmic

2017 年 11 月 7 日

详细点，什么数据无法解码？这样放个网址我也看不出什么来啊，详细点我帮你看看

liudaqi

2017 年 11 月 7 日

@golmic 现在反复请求，又不出错了。奇怪，前面就是收到一堆数据，然后 gb2312 解不出来

asuraa

2017 年 11 月 8 日 via iPhone

根据页面解码啊页面上 utf8 就用 utf8 gbk 就用 gbk