请教：亿级数据，且有一定的反爬机制，爬虫怎么避免惊动监控且快速爬取

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2415 天前的主题，其中的信息可能已经有所发展或是发生改变。

当爬虫遇到数据量巨大且防爬机制做的好的网站时，就很尴尬，爬的太快，会被封；速度降下来，进度条就不再前进了。请教各位 V 友们，面对大型网站随时可能更改反爬策略，需要做出如何选择呢？

1、放慢速度，尽量不被发现，以时间换数量

2、全速爬取，能爬多少是多少，被封了再想办法

3、还有其他好方法吗，求教

爬

请教

反爬

机制

28 条回复 • 2018-04-16 19:31:34 +08:00

R18

2018-04-15 22:47:36 +08:00 via Android

代理池了解一下

zhjits

2018-04-15 22:48:00 +08:00

多买 IP 地址

golmic

2018-04-15 22:59:17 +08:00 via Android

愿意付费我可以接

ton4

2018-04-15 23:04:34 +08:00

@R18 @zhjits 目前用的这个 https://github.com/jhao104/proxy_pool 能找到百来个代理。
几亿的数据几百个代理够用吗

boom7

2018-04-15 23:11:44 +08:00 via Android

都亿级数据了你还想着用免费代理…差这点钱？

beforeuwait

2018-04-15 23:12:30 +08:00

这种情况哈，多代理的是必须的。

ton4

2018-04-15 23:18:51 +08:00

@boom7 哈哈刚开始玩数据

ton4

2018-04-15 23:23:01 +08:00

@beforeuwait 多代理搞起啊，有好用的推荐一下

ton4

2018-04-15 23:23:28 +08:00

@golmic 加你了

sw10

2018-04-15 23:26:17 +08:00

几百个代理，有点少。我维护的一个商用代理池，一天的代理量都有 40 万。

感兴趣的话，可以了解下：
/t/424630

golmic

2018-04-15 23:40:13 +08:00 via Android

@ton4 微信没收到请求

golmic

2018-04-15 23:40:34 +08:00 via Android

@ton4 公众号 pydatame 有我联系方式

woscaizi

2018-04-15 23:43:48 +08:00 via iPhone

@sw10 私密代理是如何达到 10 万的呢，好奇。

woscaizi

2018-04-15 23:44:43 +08:00 via iPhone

@sw10 宽带重播吗？

ton4

2018-04-15 23:49:19 +08:00

@golmic OK 加你公众号了，明天找你聊

lihongming

2018-04-15 23:53:53 +08:00 via Android

免费不太可能。
我知道一家跟你差不多的，亿级数据，有反爬措施。不仅如此，要爬的信息还是付费的，每个付费账号只能爬几千条。
他们在公司附近租了个民房，里面拉了 N 条宽带，电信联通移动等，能拉的都拉，能装几条就装几条（本来联通限制每个地址只能装 2 条，但搞定装机师傅，可以以邻居的地址装）。房间里放个机柜，服务器上跑的全是爬虫，爬几条就重新拨号换 IP、换账号……