大家玩过爬虫吗？如果爬了一小会，就被封了 IP，那么这个 IP 以后过多久可以解封？还是说永远不解封了？
ericgui · 2017-01-09 16:47:22 +08:00 · 13722 次点击这是一个创建于 2874 天前的主题，其中的信息可能已经有所发展或是发生改变。
我主要想了解，如果做了一爬虫，跑了一会，被封了，然后必须换一个 IP 吗？
我就 2 个 vps 。要是都被封了，岂不是要去买代理服务器？
我就 2 个 vps 。要是都被封了，岂不是要去买代理服务器？
 |
1
feng123456 2017-01-09 16:51:45 +08:00  1
大哥，爬虫一定要用网上的免费 ip 池啊。
另外 ip 解封时间是对方网站自己设置的，一般默认不超过 24 小时。 |
 |
2
cute 2017-01-09 16:52:08 +08:00
有专门卖代理的
|
 |
3
wyntergreg 2017-01-09 16:57:33 +08:00
跑一小会就被封了，你没设置间隔时间啊
被识别成恶意流量了吧 |
 |
4
qa2080639 2017-01-09 17:21:08 +08:00
很多免费 ip 啊 拿质量好的用。做好模拟
|
 |
5
zhaixiaohu 2017-01-09 17:24:15 +08:00
很多公司都是用公有云，然后一个月换一次 ip ， ip 一次只买一个月的。
|
|
6
zhaixiaohu 2017-01-09 17:24:56 +08:00
你要是个人，摸清规律后，可以买按配置付费的那种，封了就重新买一个新的。
|
 |
7
484A4B 2017-01-09 19:00:04 +08:00
|
 |
8
GWesley 2017-01-09 19:07:19 +08:00
首先肯定需要弄个 ip 池
抓取间隔不要过短 抓取时间加入一定随机性 |
 |
9
ericgui OP |
 |
10
scnace 2017-01-09 20:48:23 +08:00 via Android
你需要代理池～ site 搜一下 Github IP ProxyPool
|
 |
13
mengskysama 2017-01-09 21:03:04 +08:00 2
|
 |
14
aitaii 2017-01-09 21:58:21 +08:00 1
爬虫的第一步,先爬代理池.
|
 |
15
HmyBmny 2017-01-09 22:48:05 +08:00
应该很快就会解封的，试想一下如果一个办公室几十个人用同一个 WIFI ，因为某人恶意访问而将 IP 封掉会影响另外几十个人的。
|
 |
16
ichubei 2017-01-09 23:03:21 +08:00 via Android
也可能永久封掉
|
|
17
ericgui OP @HmyBmny 有道理哈，即便是国外，普通居民家里也是动态 IP 。所以我猜除了封 IP 可能还有什么别的方式鉴别是否是“上次那个爬虫”
|
 |
20
xiaoshangmin 2017-01-12 20:02:17 +08:00 via iPhone
除了封 ip 会出现验证码之类的吗
|
Select Language