家庭宽带对爬虫是不是有限制的？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 432 天前的主题，其中的信息可能已经有所发展或是发生改变。

开始时也只有三四 M ，爬着爬着只有几百 k 了。对单个站的访问频率设置是每 500ms 一次访问，不算频率高了吧？同时爬取 1500 个站。。

6 条回复 • 2023-09-05 13:02:21 +08:00

baobao1270

2023-09-03 17:48:39 +08:00

你同一个 IP 一直访问，肯定有限制啊

BH1SMB

2023-09-03 17:59:08 +08:00

一般用代理 chi

yyzh

2023-09-03 18:01:11 +08:00 via Android

网站的限制，大内网有人干坏事的话是一起死的

cnrting

2023-09-03 18:40:50 +08:00

每 500ms 一次访问，不算频率高???

zz1127

2023-09-04 08:50:30 +08:00

500ms 一个 ip 高频得离谱了

busier

2023-09-05 13:02:21 +08:00 via Android

对于 http 1.1 来说 500ms 一次还真不高