学校让做项目,自己想做个关于电商商品价格浮动的项目,听说频繁抓取会被封 ip ,如果出现这种情况怎么解决
1
lxjsmdc 2016 年 4 月 12 日
你就抓现成的那几个已经抓好数据的站就行了
|
2
dong3580 2016 年 4 月 12 日
会.
做项目 ? 做成西贴那种 ? 如果是毕设,可以做出来,有个 demo 就行了,没必要一直抓,原理在这儿. |
3
jedyu 2016 年 4 月 12 日
第一步应该先去抓
|
4
mahone3297 2016 年 4 月 12 日
@lxjsmdc 我擦,好思路。现成抓好数据的站,会公开数据?
|
5
binbinyouliiii OP |
6
binbinyouliiii OP @dong3580 不是网页,是给安卓客户端当服务器的,不过差不多,淘宝我是不敢想了,觉得自己抓抓京东易迅什么的就可以,你说我抓那个西贴可行吗,会被封吗
|
7
herozzm 2016 年 4 月 12 日
会,所以做爬虫最大的问题是控制抓取频率加上较多代理 ip
|
8
dong3580 2016 年 4 月 12 日
|
9
pubby 2016 年 4 月 12 日
淘宝天猫抓价格都还好,麻烦的是抓淘宝评论数据
|
10
lxjsmdc 2016 年 4 月 12 日
|
11
lianyue 2016 年 4 月 12 日 via iPhone
@binbinyouliiii 写个 代理脚本就好了呗
|
12
Mysdes 2016 年 4 月 12 日
网易的惠惠助手,双十一的时候都官方申明“因为众所周知的原因”关闭了历史价格
|
13
binbinyouliiii OP |
14
Navee 2016 年 4 月 12 日
一般爬虫类应用都会有很多代理,请求的时候会使用不同的代理来保证每次都能抓取到数据
|
15
Felldeadbird 2016 年 4 月 12 日
找 /买 IP 代理。
|
16
lianyue 2016 年 4 月 12 日 via iPhone
@binbinyouliiii 在写个脚本抓互联网上的代理
|