webmagic 爬 58 同城久了会触发验证码反爬

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 2447 天前的主题，其中的信息可能已经有所发展或是发生改变。

https://callback.58.com/firewall/verifycode?serialId=d22d6f319b5148ae8a199a4b574dd8b4_7daf4f969cac4852a2fbbfb2e275bbcd&code=22&sign=26dbf4d672a5d9691e63e40bb02910d0&namespace=ershoufanglistphp&url=https%3A%2F%2Fwh.58.com%2Fershoufang%2F&tdsourcetag=s_pcqq_aiomsg&qq-pf-to=pcqq.group

怎么解决啊

反爬

webmagic

验证码

触发

3 条回复 • 2019-05-24 10:27:45 +08:00

murmur

2019 年 5 月 24 日

手打验证码
有打码平台的

silencefent

2019 年 5 月 24 日

难,建议分布式多账号 ip 池

tikazyq

2019 年 5 月 24 日

最好用 ip 池来抓取，而且要注意 robots 协议。稍微高级一点自己用神经网络破解验证码也可以，但是比较麻烦。

顺便安利一下开源爬虫平台 Crawlab，https://github.com/tikazyq/crawlab，兼容各大爬虫框架，包括 scrapy、webmagic、puppeteer、selenium