推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2376 天前的主题，其中的信息可能已经有所发展或是发生改变。
由于需要爬取大量数据，所以采用 代理+协程(asyncio+aiohttp) 的方式爬虫获取数据。爬的时候有两点疑惑：
1. 协程的数量有上限吗？我已经把协程数量调到 300 了，但是服务器内存也没有显著增高。大家一般设置多少个协程爬取数据？（被爬的网站是个常用的大厂，肯定不会被我搞崩掉。我知道不节制的爬虫是不道德的，只是好奇协程数量可以到多大）
2. 爬虫的速度还不错，但是在总是会在协程结束前的最后几个待爬取网页卡住等很长时间才能抓到，这种情况正常吗？
1. 协程的数量有上限吗？我已经把协程数量调到 300 了，但是服务器内存也没有显著增高。大家一般设置多少个协程爬取数据？（被爬的网站是个常用的大厂，肯定不会被我搞崩掉。我知道不节制的爬虫是不道德的，只是好奇协程数量可以到多大）
2. 爬虫的速度还不错，但是在总是会在协程结束前的最后几个待爬取网页卡住等很长时间才能抓到，这种情况正常吗？
 |
1
lieh222 2018-05-23 09:05:12 +08:00
内存开销主要就是 response 和 socket 吧，response 大小不确定，socket 估计 1G 内存能开将近 100 万个吧
|
 |
2
wwwd0g 2018-05-25 07:54:24 +08:00
超时分链接超时和读取超时,有的网站你访问的时候直接给你一个超长时间的读取...
|
 |
3
rim99 2018-05-30 22:33:43 +08:00 via iPhone
协程的开销是函数级的，很小
|
Select Language