推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 3314 天前的主题，其中的信息可能已经有所发展或是发生改变。
使用 scrapy 抓取 http://www.cnbeta.com/topics/9.htm ，先抓取文章标题， yield Item 存储，再根据 link 抓内容， yield content, 然后 time.sleep(1200)。但是 yield content 处理时间比较长， time.sleep 会是全局停止，导致好长时间抓取不到 content ，请教大家怎么做？
 |
1
pango 2015-10-26 15:05:06 +08:00
为什么要 sleep ？ scrapy 不是可以自己控制并发数吗？
|
 |
5
ahxxm 2015-10-27 09:22:32 +08:00
"*/20 * * * * timeout=600 scrapy crawl cnbeta"加进 crontab 就行了， 20 分钟来一发， 10 分钟没跑完自动干掉进程
|
 |
6
lev 2015-10-28 05:02:55 +08:00
可以设置全局参数 DOWNLOAD_DELAY http://doc.scrapy.org/en/latest/topics/settings.html
|
 |
7
kmz 2018-07-06 18:41:40 +08:00
|
Select Language