关于并发爬虫的问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2297 天前的主题，其中的信息可能已经有所发展或是发生改变。

最近写了一个小爬虫，设置 200 进程。不知道为啥经常出现

cURL error 28: Resolving timed out after 2511 milliseconds (see http://curl.haxx.se/libcurl/c/libcurl-errors.html) 而且概率很大。我服务器内存 cup 足够，带宽测速 speedtest-cli 下行 100M 上行 10M。

怀疑是 dns 但是跟换后依旧不行。

求大神指教。

爬虫

curl

DNS

resolving

2 条回复 • 2018-09-04 10:20:39 +08:00

dengtongcai

2018-09-04 00:04:31 +08:00 via Android

对方带宽不够？

hobbyliu

2018-09-04 10:20:39 +08:00

@dengtongcai 不应该啊，据说这网站能同时在线 300 万人，而且本地单个进程当时能请求成功
查了下说是 dns 问题，打算绑定于强制对方 ip 域名试试。