V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
captainm
V2EX  ›  程序员

求助帖,万兆网卡局域网传输速度只有 10Mb/s !?

  •  1
     
  •   captainm · 2020-05-18 08:40:11 +08:00 · 14887 次点击
    这是一个创建于 1651 天前的主题,其中的信息可能已经有所发展或是发生改变。

    1 、硬件:X520 两个 10G 口,芯片是 82599EB ;交换机为 S5560,4 个 10G 口,网卡用 SFP 光模块连接交换机。

    2 、软件:系统为 ESXi6.7,两台跑在 ESXi 上的 win10,虚拟网卡 VMXNET3 。

    3 、两台 win10 局域网对拷文件,速度只有 10Mb/s... 但是公网下载没有问题,能跑满 500M 带宽,因此应该不是网卡方面的问题,可能是哪里需要设置?之前用千兆网卡的时候,可以跑满千兆。

    请问有没有朋友遇到过类似的问题?求解惑。感谢阅读此贴。

    详细请见图

    V2EX image uploaded by TsingScript
    48 条回复    2020-05-21 10:00:55 +08:00
    hjc4869
        1
    hjc4869  
       2020-05-18 08:41:35 +08:00 via Android
    下面那个 100Mbps 全双工是什么?
    captainm
        2
    captainm  
    OP
       2020-05-18 08:44:20 +08:00
    @hjc4869 #1 你好。下面那张网卡是没有启用的。我后面也关掉试过了。
    tankren
        3
    tankren  
       2020-05-18 08:44:20 +08:00
    你这个是走的 vswitch 吧
    captainm
        4
    captainm  
    OP
       2020-05-18 08:46:18 +08:00
    跟大家说明一下,第一张图里的 100Mbps 全双工,此网卡是没有启用的,我后面也删除掉试过了。
    captainm
        5
    captainm  
    OP
       2020-05-18 08:46:52 +08:00
    @tankren #3 是走的 vswitch 。
    jinhan13789991
        6
    jinhan13789991  
       2020-05-18 08:48:53 +08:00
    SMB 限制?
    westjt
        7
    westjt  
       2020-05-18 08:53:02 +08:00
    1. 看看虚拟交换机里面的属性. 里面有关于带宽的设置.
    2. 确认复制的时候磁盘状态. 看看复制的时候磁盘忙不忙.
    xenme
        8
    xenme  
       2020-05-18 08:57:31 +08:00 via iPhone
    你万兆是虚拟机之间是万兆,一旦出了 host 就受限你物理网络的限制了,你复制还和你 io 性能有关
    tankren
        9
    tankren  
       2020-05-18 09:02:22 +08:00
    @captainm vswtich 走 CPU 的吧 你 100G 设备都没用
    opengps
        10
    opengps  
       2020-05-18 09:03:11 +08:00
    100M 是硬盘的读速度?虚拟硬盘可能会有这个现象
    hvboekml
        11
    hvboekml  
       2020-05-18 09:07:52 +08:00
    网线换过没?
    FFFire
        12
    FFFire  
       2020-05-18 09:10:38 +08:00
    是不是用的 5 类网线啊,万兆得超 6 类线吧
    FFFire
        13
    FFFire  
       2020-05-18 09:11:22 +08:00
    @FFFire 不对,万兆得 7 类线。
    defunct9
        14
    defunct9  
       2020-05-18 09:15:35 +08:00
    开 ssh,让我上去试试
    danyi
        15
    danyi  
       2020-05-18 09:18:18 +08:00
    我遇到的是忘记换网线了
    afirefish
        16
    afirefish  
       2020-05-18 09:22:52 +08:00
    网卡直通试试呢
    lbyo
        17
    lbyo  
       2020-05-18 09:26:16 +08:00
    如果测出来是什么原因,麻烦楼主说一下哈
    Srar
        18
    Srar  
       2020-05-18 09:32:13 +08:00 via iPhone
    @FFFire 只要距离短 8 根线都通都能跑满万兆
    danngenel8788yyu
        19
    danngenel8788yyu  
       2020-05-18 09:37:41 +08:00 via Android
    esxi 没做硬盘直通性能比较低,我一般传个文件在 200M 左右。直通了基本就是硬盘速度了(机械盘,千兆
    reus
        20
    reus  
       2020-05-18 09:47:14 +08:00 via Android
    看 cpu 负载,如果高,就是软件有瓶颈
    看磁盘负载,如果高,就是磁盘有瓶颈
    木桶能装多少水,要看最短那块板
    万兆网络传文件快不快,也不只是看链路
    Wao
        21
    Wao  
       2020-05-18 10:03:57 +08:00
    网卡没直通?
    littlewing
        22
    littlewing  
       2020-05-18 10:07:09 +08:00 via iPhone
    两台 win10 跑在一台 esxi 上?那和你交换机网卡有啥关系,直接走的 esxi 的 vswitch 啊
    HillZh
        23
    HillZh  
       2020-05-18 10:10:15 +08:00
    这可能是软件给限速了,看看有没有防火墙限速之类的,我之前是华硕的游戏助手,把下载速度都限制在 2M 。
    cuiweiqiang
        24
    cuiweiqiang  
       2020-05-18 10:10:52 +08:00
    把 win 下的 mtu 改大些试试?顺便说一句 520 的芯片不是 82599es 么?咋还有 eb 的呢?
    dayFvckingByte
        25
    dayFvckingByte  
       2020-05-18 10:17:08 +08:00   ❤️ 2
    请先用 iperf 测试排除网络问题
    dream7758522
        26
    dream7758522  
       2020-05-18 10:41:43 +08:00 via Android
    10m 咋说都不可能,不管是否直通或者有瓶颈。肯定是哪里限速了
    xyjincan
        27
    xyjincan  
       2020-05-18 10:55:27 +08:00
    大哥你是不是用远程桌面对拷,远程桌面程序会限制拷贝速度
    371305755
        28
    371305755  
       2020-05-18 11:05:38 +08:00
    大概率是网线问题
    weizhiyao008
        29
    weizhiyao008  
       2020-05-18 13:13:14 +08:00
    把 IPV6 关掉试试
    Xusually
        30
    Xusually  
       2020-05-18 13:30:36 +08:00
    我家里 GEN8 里的黑群晖有段时间 mbp timemachine 备份速度一直只有 1.x MB/s,后来发现 GEN8 的 ESXi 到 AP 的实际链路速度不知道什么时候协商成了 10Mbps,重新插拔网线解决,恢复到了 1Gbps 。
    iSkywind
        31
    iSkywind  
       2020-05-18 13:40:18 +08:00
    用 iperf 之类的工具跑一发看看
    确认下是终端读写性能有毒还是中间链路根本跑不动
    UnknownR
        32
    UnknownR  
       2020-05-18 13:46:56 +08:00
    看这界面你是 rdp 登陆然后用 windows 下的复制黏贴操作来 copy 的。。。?如果是小文件较多的话确实 io 效率会降到很低的水平,你可以用 robocopy 设置最大线程来测试一下是不是还是这个速度,如果还是的话基本就是网线的问题了,5 类的话峰值确实是这个速度
    hanli
        33
    hanli  
       2020-05-18 14:25:28 +08:00
    最近遇到类似的,最后发现是用远程桌面拷贝的问题,RDP 协议速度有限制。用共享目录试试。
    deef
        34
    deef  
       2020-05-18 14:40:10 +08:00
    我记得前几个月 V 站也有类似的事情...用 SMB 然后突然速度慢了,也在 10Mb/s 左右。然后下面解决方式也是重做水晶头重新布线.....但是最后咋解决的好像也没下文了...

    蹲一个解决方案....
    fensou
        35
    fensou  
       2020-05-18 15:14:52 +08:00 via iPhone
    该升级 esxi7 了
    swulling
        36
    swulling  
       2020-05-18 15:15:55 +08:00 via iPhone
    @FFFire 超五类在 10 米内就可以跑满万兆
    zhizhiwz
        37
    zhizhiwz  
       2020-05-18 15:37:19 +08:00 via Android
    @fensou esxi7 要求最小硬盘空间 128g 。蛋疼。
    AllenW
        38
    AllenW  
       2020-05-18 15:55:55 +08:00
    @swulling 有人测过好像运气好 ( 5 类线比较好) 80m 都没事 差一点的 5 类线 50m 也是可以的
    swulling
        39
    swulling  
       2020-05-18 16:00:56 +08:00
    @AllenW 嗯,我家里就是普通的五类线,全屋万兆没问题
    eiloogs
        40
    eiloogs  
       2020-05-18 16:47:30 +08:00
    好像是硬盘格式还是系统的问题,我之前也遇到过 重装系统后解决了。
    lionseun
        41
    lionseun  
       2020-05-18 18:59:17 +08:00 via Android
    MB 和 Mb 是不一样的
    zvcs
        42
    zvcs  
       2020-05-18 19:54:12 +08:00 via iPhone
    smb3 的聚合功能一定要关掉。巨帧记得开启
    laminux29
        43
    laminux29  
       2020-05-18 23:31:59 +08:00
    远程桌面拷贝吧?哈哈.

    Windows 局域网传输,用 Dukto 试试。
    Cursor1st
        44
    Cursor1st  
       2020-05-19 08:57:20 +08:00
    Esxi 内的虚拟机对拷,建议两个方法排除。
    1 、两台 win10 都只绑定 VM Network 下的 vSwitch0,这样走的是内部的链路不涉及物理网络,再通过 SMB 共享对拷测试。如果速度低就代表可能是磁盘 IO 限制或者分配给 win10 的 vCPU 性能限制。
    2 、两台 win10 分别绑定 X5202 个 10G 口,再通过交换机相连(或者干脆一根网线将两个口连起来),再次 SMB 共享对拷测试。这次是为了排查 X520 网卡是否有些问题。

    注意:尽量给 WIN10 虚拟机分配足够的 vCPU 资源。
    captainm
        45
    captainm  
    OP
       2020-05-19 11:15:44 +08:00
    @Cursor1st 你好。
    <img style="max-width:100%;" src="https://www.picgd.com/images/2020/05/19/cb5dfc36e751bf55085d1740d92a3616.jpg" alt="V2EX image uploaded by TsingScript" />

    用 iperf3 分别测试了:ESXi 上 Win10 与 Win10 、ESXi 上 Win10 与 Linux 、ESXi 上 Linux 与 Linux 、物理机 Win10 与 ESXi 上 Win10 、物理机 Win0 与 ESXi 上 Linux 的速度。

    我判断应该是流量走了交换机之后,才变成 10MB/s,但是如果这样讲,那 ESXi 上的 Win10 与 Linux 测速,也没有达到万兆。

    可以排除磁盘 IO 、vCPU 的问题,我是全 SSD,机器都给了 4C8G 以上。

    下午晚上有空按照你的方法试一下,谢谢。
    captainm
        46
    captainm  
    OP
       2020-05-19 14:13:00 +08:00
    @reus 可以排除 cpu 和磁盘 io 问题,因为机器我最少都给了 4c8g,系统都装在 ssd 上面。现在初步判断可能问题出在交换机上
    xyjincan
        47
    xyjincan  
       2020-05-21 01:09:02 +08:00 via Android
    看看各个虚拟机都是分配的啥类型网卡,都用的哪个网络,esxi 那流量监控,走的哪个网卡,,只是一台 esxi 是吗,
    captainm
        48
    captainm  
    OP
       2020-05-21 10:00:55 +08:00
    找到问题所在了。是交换机的光口没有配置好。。在此期间还遇到一个特别奇葩的问题,用 USB 转 232 的线连接这台 s5560 交换机没反应,但另一台 s5024 交换机正常,原因是线的问题,找一个带 232 口的电脑,用原生 232 就没问题了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2409 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 02:10 · PVG 10:10 · LAX 18:10 · JFK 21:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.