1
AlloVince 2015-05-07 11:21:31 +08:00 1
|
2
RangerWolf OP @AlloVince 非常感谢!正是我需要的!
|
3
bengtuo 2015-05-07 11:48:17 +08:00
Scrapy 还是不够好
|
4
bengtuo 2015-05-07 11:48:27 +08:00
要写 太多的代码
|
5
zts1993 2015-05-07 12:08:24 +08:00
写一个DOWNLOADER_MIDDLEWARES
|
6
binux 2015-05-07 12:13:04 +08:00
squid
|
7
RangerWolf OP @binux 还得自己维护一个squid就太繁重了
|
8
RangerWolf OP @bengtuo 那有什么推荐的吗?
要写的代码多一点没什么,重要的是能有解决方案。 如果能在网上找到相应的解决方案的代码就更好了 |
9
messense 2015-05-07 16:35:37 +08:00 1
我用的修改自 scrapy-proxies 的 RetryMiddleware,禁用 Scrapy 自带的 RetryMiddleware
https://github.com/messense/douappbook/blob/master/douappbook/middlewares.py#L10 |
10
ultimate010 2015-05-09 10:01:09 +08:00 1
我以前就是把代理ip存到redis中,每次抓取查询换ip,封装下使用很方便。
|