爬京东的商品列表老被跳转到首页，咋整

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 4124 天前的主题，其中的信息可能已经有所发展或是发生改变。

公司要爬京东的一类商品列表。
爬了10多条，就被jd跳转到首页了。

各位爬网人士，你们都是怎么绕过去的

6 条回复 • 2014-10-18 11:49:43 +08:00

herozzm

2014 年 10 月 17 日

频率太高了，京东有防护，适当降低频率看看

tcsky

2014 年 10 月 18 日

请求太快了, 以前刷东西时也遇到过, 速度放慢, 加代理, 走不同cdn节点.

zooooom

2014 年 10 月 18 日

大公司都会有防爬机制

zts1993

2014 年 10 月 18 日 via Android

遇到验证码了吧，。。。。。。。
伪造ip试试

xinyidao

2014 年 10 月 18 日

@zts1993 ip怎么伪造啊？

xinyidao

2014 年 10 月 18 日

@tcsky cdn节点也可以选？