V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Phishion
V2EX  ›  程序员

请问如何排查是域名解析问题还是服务器连接的问题

  •  
  •   Phishion · 2020-04-22 12:01:34 +08:00 · 1180 次点击
    这是一个创建于 1675 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我有一个爬虫,大概每 1 个小时就往服务器提交一次数据(少量数据),近期发现少数情况下竟然会出现长达一分钟以上无法连接的报错(每隔几秒钟重试):

    HTTPConnectionPool(host='xxx.xxx.com', port=80): Read timed out. (read timeout=10)

    我服务器是腾讯云 HK 机房,爬虫在内地的廉价华为云,大概 ping 一次 50 多 ms,目前 ping 了十几分钟没有出现丢包,服务器域名托管在 Godaddy,默认配置,域名 TTL 1 小时

    请问有何良策排查这个问题?

    第 1 条附言  ·  2020-04-22 12:32:26 +08:00
    主要还是想请教一下大伙儿怎么缩小排查问题,我也好提交工单碰碰运气
    6 条回复    2020-04-22 13:32:40 +08:00
    ohao
        1
    ohao  
       2020-04-22 12:12:52 +08:00
    这个很大可能是网络问题

    就是 华为 <=> 腾讯 服务器之间出现网络通信的问题

    和解析关系不大 解析一般都会被 cache 的
    ieric
        2
    ieric  
       2020-04-22 12:21:19 +08:00 via iPhone
    域名哪里解析都差不多
    服务固定 IP 更不担心

    国内 Vps 限制 Out 带宽
    上传就是 out
    几 M 都慢
    再大陆外服务器
    想稳定真难
    superrichman
        3
    superrichman  
       2020-04-22 12:21:51 +08:00 via iPhone
    直接把请求域名改 ip 来测不就行了。
    Phishion
        4
    Phishion  
    OP
       2020-04-22 12:27:52 +08:00
    @ohao 如果是网络问题,那这个是我自己能修的范围么?或者我有什么方法能进一步缩减范围好提交工单?
    ohao
        5
    ohao  
       2020-04-22 12:48:39 +08:00   ❤️ 1
    @Phishion 没用
    这个问题无解,你只能做 retry 的规则 网络异常加入队列通知,待恢复在重新 POST data

    因为这个不一定是华为或者腾讯能控制的 涉及上游 ISP

    你可以在华为机器 运行 mtr 腾讯 IP
    看路由走向 其中的任意一个切换或者维护 都会出现间歇性问题

    所以网络保证 大部分 都是 99.99%稳定性 大部分 SLA 非 100%
    Phishion
        6
    Phishion  
    OP
       2020-04-22 13:32:40 +08:00
    @ohao 感谢您专业的回复,谢谢
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2774 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 11:49 · PVG 19:49 · LAX 03:49 · JFK 06:49
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.