推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2741 天前的主题，其中的信息可能已经有所发展或是发生改变。
同样的脚本 爬同样的目标站
服务器 A 配置 AMD4 核 Opteron 1381 SATA 22TB+750G4 我键了一个 6TB 的 POOL
服务器 B 配置 ATOM CZ2750 128G SSD
目标站挂载在 CF 上 差不多都在 10ms 以内
服务器 A 开始爬还可以跑在 20~30M 大约爬了几分钟以后变成 5mbps 左右
服务器 B 爬取速度不但快 而且下载的时候都可以保持 100M 的速度。
我想知道服务器 A 的 delay 是在哪里。 有没有办法优化
服务器 A 的下载速度 就是一个图片 一个图片以肉眼的速度下载
服务器 B 的下载速度 就是刷刷刷的那种。
是否是 SSD 的问题？
 |
1
xiaoyu9527 OP SATA 和 SSD 的写入差距这么大？
|
Select Language