服务器是 Centos 6 , 爬虫运行的时候终端上操作就会非常卡。检查过 cpu ,内存都不高,磁盘读写也不高。
然后通过more /proc/sys/fs/file-nr看,文件的打开数也才 1900
同样的程序在我的 mac 上跑就没有这些现象。
1
wlsnx 2016 年 1 月 5 日 可能是网络原因
|
2
flyshu 2016 年 1 月 5 日 网络带宽占满了?
|
3
Landarky 2016 年 1 月 5 日 估计和我一样 网络带宽限制
|
4
limbo0 2016 年 1 月 5 日 如果是 ssh 到服务器应当会卡的
|
5
em70 2016 年 1 月 5 日 via iPhone 用云服务器,上行带宽不限,很适合跑爬虫,比如阿里云买 1M 的带宽 ECS ,爬虫用 1G 带宽都可以
|
6
youxiachai 2016 年 1 月 5 日 这个终端卡,不都是网络问题吗。。。我还以为都是常识来的
|