这是一个创建于 4298 天前的主题，其中的信息可能已经有所发展或是发生改变。
写了个简单的爬虫，想抓下一家淘宝店正在出售的宝贝（/search.htm?spm=a1z10.1.0.0.N8xbI3&search=y&orderType=hotsell_desc）。请求频率7秒抓一次，但发现抓了几次之后就要求登陆，跳转到登陆页面。请问有类似经验的同学吗
 |
1
manhere 2014 年 4 月 12 日 via Android
淘宝api
|
 |
2
leofml 2014 年 4 月 12 日
检查 Referer, UA 和 Cookies
|
 |
3
jsonline 2014 年 4 月 12 日 via Android
用phantom吧
|
 |
5
andrewrong 2014 年 4 月 12 日
公司之前是使用淘宝API的，但是后来淘宝封了，现在的话是自己写爬虫爬，但是为了防止淘宝识别就通过代理（VPN）进行爬，这样就可以防止淘宝探测到...你的现象比较像被淘宝检测出然后进行限制了..当然是我的猜测...不是很懂
|
 |
6
alexapollo 2014 年 4 月 12 日  1
|
 |
7
bladecamper 2014 年 4 月 12 日
API现在基本等于封闭状态。
用火车头采集器吧。 |
 |
8
ryan10107 2014 年 4 月 12 日
可以AD拨号吧，搞多点cookie和header的模拟，现在淘宝封店铺商品列表封得很厉害，做爬虫还是看IP的
|
 |
9
jerryge OP @andrewrong 是指通过VPN轮训IP吗
|
Select Language