1
misaka19000 2017-05-04 21:11:01 +08:00 via Android
这爬虫还把自己给暴露出来。。。神奇
|
2
woshinide300yuan 2017-05-04 21:11:46 +08:00
这不是明显的该屏蔽的吗 - -
|
3
billlee 2017-05-04 21:54:55 +08:00 2
耿直的爬虫
|
4
notes 2017-05-04 22:17:57 +08:00 via Android
目测新手,用的还是自带的 urllib
|
5
Yc1992 2017-05-04 22:18:55 +08:00 via Android 1
脚本小子
|
6
wspsxing 2017-05-04 22:59:57 +08:00
UA 都不改一下,差评妥妥的。
|
7
ywgx 2017-05-04 23:06:42 +08:00
留着过年?
|
8
LokiSharp 2017-05-04 23:07:42 +08:00
估计故意的。。。看看有没有人处理
|
9
richardma 2017-05-05 01:08:54 +08:00
猖狂的爬虫,23333
|
10
tonychow 2017-05-05 01:11:52 +08:00
显然爬虫, 都不知道隐藏下 UA
|
11
araraloren 2017-05-05 08:29:07 +08:00
~~
再明显不过的爬虫了。。 封了 IP 呗 |
12
crackhopper 2017-05-05 08:43:18 +08:00
666666
|
13
yanzixuan 2017-05-05 08:50:08 +08:00
连 UA 都不知道改的,估计是新手。另外你们的网站不设置一个 Limiter,限制一下一天的总的访问次数么?
如果对方换 IP,你就限制下 1 分钟 /1 小时之内的访问次数吧。 |
14
tttty 2017-05-05 09:41:13 +08:00
请问一下,如果遇到爬虫直接封 IP,这样不是会导致共用公网 IP 的用户误伤吗.. 比如校园网、网吧什么的?
|
15
hard2reg 2017-05-05 09:52:20 +08:00 via iPhone
弱弱的问下,requests 的默认 ua 是啥
|
16
jy02201949 2017-05-05 09:52:42 +08:00
真是耿直啊,而且还在用 urllib,新手随便抄了网上哪个教程弄的爬虫吧
|
17
anexplore 2017-05-05 09:58:35 +08:00
使用验证码机制啊
|
24
liuxu 2017-05-05 11:31:52 +08:00
我虽然是个爬虫,但我行事坦荡,从不遮遮掩掩
|
25
fuxkcsdn 2017-05-05 11:35:44 +08:00 1
@hard2reg
>>> import requests >>> requests.get('http://httpbin.org/user-agent').text u'{\n "user-agent": "python-requests/2.12.3"\n}\n' |
26
hsmocc 2017-05-05 15:20:30 +08:00 via iPhone
封 IP 显然是下策啊,一段时间内访问次数达到一个上限后出验证码吧
|
27
tianxiacangshen OP @hsmocc 这样的话 每一次访问都要查询(次数)+插入数据库,不是很占用资源吗
|
29
dsg001 2017-05-05 17:52:51 +08:00
这种 UA 直接返回乱码数据呗
|
30
qinbingchen 2017-05-05 21:40:26 +08:00
难道这是我?
|
31
flyshu 2017-05-06 10:43:42 +08:00
新手刚看了知乎的入门教程来练手了
|
32
dreamcountry 2017-07-16 11:44:37 +08:00
我的网站也有大量的这种日志,这些人真是闲的蛋疼
|