V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
ufo22940268
V2EX  ›  Linux

爬虫运行的时候终端卡

  •  
  •   ufo22940268 ·
    ufo22940268 · 2016-01-05 10:20:29 +08:00 · 3416 次点击
    这是一个创建于 3247 天前的主题,其中的信息可能已经有所发展或是发生改变。

    服务器是 Centos 6 , 爬虫运行的时候终端上操作就会非常卡。检查过 cpu ,内存都不高,磁盘读写也不高。
    然后通过more /proc/sys/fs/file-nr看,文件的打开数也才 1900

    同样的程序在我的 mac 上跑就没有这些现象。

    第 1 条附言  ·  2016-01-05 16:01:53 +08:00
    大家说的没错,是带宽问题。

    带宽满了,然后就丢包了,然后就会卡。
    6 条回复    2016-01-05 15:53:29 +08:00
    wlsnx
        1
    wlsnx  
       2016-01-05 10:26:05 +08:00   ❤️ 1
    可能是网络原因
    flyshu
        2
    flyshu  
       2016-01-05 11:12:00 +08:00   ❤️ 1
    网络带宽占满了?
    Landarky
        3
    Landarky  
       2016-01-05 14:22:54 +08:00   ❤️ 1
    估计和我一样 网络带宽限制
    limbo0
        4
    limbo0  
       2016-01-05 15:45:23 +08:00   ❤️ 1
    如果是 ssh 到服务器应当会卡的
    em70
        5
    em70  
       2016-01-05 15:51:23 +08:00 via iPhone   ❤️ 1
    用云服务器,上行带宽不限,很适合跑爬虫,比如阿里云买 1M 的带宽 ECS ,爬虫用 1G 带宽都可以
    youxiachai
        6
    youxiachai  
       2016-01-05 15:53:29 +08:00   ❤️ 1
    这个终端卡,不都是网络问题吗。。。我还以为都是常识来的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1041 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 20:03 · PVG 04:03 · LAX 12:03 · JFK 15:03
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.