scrapy 爬虫小问题 目标站限制速度怎么办?
最高只能跑到 5M 左右。
1
mazyi 2017-05-22 08:22:25 +08:00 via iPhone
多 IP
|
2
xiaoyu9527 OP |
3
mazyi 2017-05-22 09:19:06 +08:00 via iPhone
@xiaoyu9527 至于多 IP 怎么做就看需要了
|
4
BiggerLonger 2017-05-22 09:57:55 +08:00
scrapy 有限制速度選項
|
5
justfun 2017-05-22 09:58:57 +08:00
分布式
|
6
jiezhi 2017-05-22 10:01:35 +08:00
爬人家东西也不要把人家资源全部占用掉呀
|
7
PythoneerDev6 2017-05-22 10:32:38 +08:00
多 IP 分布式。 其次 Scrapy 提供了每个线程的时间控制。
|
8
QQ2171775959 2017-05-22 11:02:59 +08:00
你把人家的网站资源占满了的话,人家没有封你就算不错了。
|
9
Xrong 2017-05-22 11:48:13 +08:00
人家带宽就那么大,能怎么办?爬慢点。。。
|
10
af463419014 2017-05-22 11:55:49 +08:00
你把人家带宽全占了,搞得人家还以为网站被攻击了呢
|
11
whileFalse 2017-05-22 11:56:55 +08:00
没准人家出口带宽就只有 5M。
|
12
ytmsdy 2017-05-22 11:57:37 +08:00 via iPhone
爬慢一点!爬虫其实是个寄生虫,宿主死了,寄生虫就死了!
|
13
yuansmin 2017-05-22 12:54:21 +08:00 1
IP 代理池。不过还是建议不要太快了,拿人家东西就不要给人造成太大负担,做个有公德的 spider
|
14
killerv 2017-05-22 12:55:18 +08:00
做个不让人讨厌的 spider
|
15
dd99iii 2017-05-28 18:24:04 +08:00 via iPhone
别人限速大概还是有原因的
|