这是一个创建于 4065 天前的主题，其中的信息可能已经有所发展或是发生改变。
这个爬虫是为阿里巴巴的 sm.cn 服务的吧？
这里有在做神马搜索的同学么，你们家爬虫是否支持 CrawlRate 呢？
我试着在 Google 里搜了一下 YisouSpider CrawlRate，只能找到我自己现在发的这个主题。
这里有在做神马搜索的同学么，你们家爬虫是否支持 CrawlRate 呢？
我试着在 Google 里搜了一下 YisouSpider CrawlRate，只能找到我自己现在发的这个主题。
 |
1
Livid MOD OP PRO |
|
2
Livid MOD OP PRO 统计了一下日志，现在 YisouSpider 基本上在用每秒 5 次并发的频率在爬 V2EX 上的所有主题。
|
|
3
Livid MOD OP PRO 为了给 V2EX 节约一些资源，下面这些 IP 只能先封 1 个月了：
42.156.138.78 42.156.137.78 42.120.160.108 42.156.139.78 42.120.161.108 42.156.137.108 42.156.138.108 42.120.160.78 42.156.139.108 42.156.136.108 42.156.136.83 42.156.137.83 42.156.138.83 42.156.139.83 42.120.160.83 42.120.161.83 |
|
4
Livid MOD OP PRO 盛况如此：
 |
 |
5
zjgood 2014 年 12 月 10 日 via Android
L大不优化，蜘蛛都这么钟爱V站
|
 |
6
xinple 2014 年 12 月 10 日
是的，昨天我也遇到了，小站扛不住啊
|
 |
7
macken 2014 年 12 月 10 日
直接用nginx把这个spider给干掉
|
 |
8
mikuazusa 2014 年 12 月 10 日
|
 |
10
kofj 2014 年 12 月 10 日
sm.cn蜘蛛很疯狂的。open.sm.cn注册进去让人感觉很无语。。。。
|
Select Language