V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xwchenhui
V2EX  ›  宽带症候群

千兆带宽, Win 能跑满, Linux 跑不满,非常诡异

  •  1
     
  •   xwchenhui · 2020-12-09 14:52:59 +08:00 · 3820 次点击
    这是一个创建于 1443 天前的主题,其中的信息可能已经有所发展或是发生改变。

    家里两台服务器,一台华擎 N3150 ( PVE )、一台矿渣 J1900 (群晖),还有一台 PC ( I7-8700 ),都接在同一个千兆交换机下面。

    最近发现,PVE 和群晖之间互相拷贝数据,SCP/RSYNC/CIFS/NFS 各种方式,全部都只有 50MB/s 的速度,稳定不波动

    但是用 PC 通过 CIFS 的方式分别访问这两台机,无论是读写,都能跑满千兆;甚至同时打开两个共享,通过 PC 中继复制数据,都能跑满千兆;

    PVE 和群晖都没有调过什么内核参数

    ethtool 查看网口协商速率都是千兆全双工

    两台机 CPU 内存都没满载。。。

    PC 中继,这个 HomeOMV 还是 PVE 下的一台虚机

    PVE 通过 CIFS 挂载群晖的共享文件夹,rsync 本地复制

    群晖通过 rsync 远程复制 PVE 上的文件


    很懵逼,看看有没有这一块的大佬可以帮忙分析一下

    11 条回复    2020-12-21 11:01:05 +08:00
    LOVOQ
        1
    LOVOQ  
       2020-12-09 20:46:04 +08:00
    大概是 pve 网卡直通问题 楼下 jj 大的继续~
    xwchenhui
        2
    xwchenhui  
    OP
       2020-12-09 21:53:29 +08:00
    @LOVOQ 没有开直通的,HomePVE 是宿主
    xwchenhui
        3
    xwchenhui  
    OP
       2020-12-09 22:02:04 +08:00
    补充一下,pve 里面装 Windows 去挂群晖的共享,也能跑满…怀疑不是内核参数就是 cifs/nfs 客户端的问题,但是没啥方向,搜都不好搜
    geekvcn
        4
    geekvcn  
       2020-12-10 01:18:25 +08:00
    PVE 默认网卡是桥接模式,Linux 网桥性能不如物理网卡吧,把桥接接口改成物理接口试试
    xwchenhui
        5
    xwchenhui  
    OP
       2020-12-10 10:23:05 +08:00
    @geekvcn #4 嗯,这个也是一种思路,我稍候试试;但是其实也解释不通,因为 WinPC 去拉数据是能拉到千兆的。另外我也试过把 Linux Bridge 改成了 Open vSwitch
    ccyyff
        6
    ccyyff  
       2020-12-14 16:43:38 +08:00 via Android
    虽然不太懂,但有没有可能是网卡驱动的问题?
    xwchenhui
        7
    xwchenhui  
    OP
       2020-12-15 12:46:30 +08:00
    @ccyyff #6 我也怀疑过网卡驱动,但是从 PC 传输的结果来看又是能满足的;我认为大概率还是在应用层面的一些配置之类的。
    miyunda
        8
    miyunda  
       2020-12-15 20:25:16 +08:00
    或许可以尝试修改挂载 NFS 时的读块大小来尝试下?
    https://docstore.mik.ua/orelly/networking_2ndEd/nfs/ch16_04.htm
    lookas2001
        9
    lookas2001  
       2020-12-20 12:46:36 +08:00 via Android
    看看拥塞控制是不是 bbr,如果是的话,试试换成 cubic
    xwchenhui
        10
    xwchenhui  
    OP
       2020-12-21 11:00:34 +08:00
    @lookas2001 #9 不是 bbr 是 cubic,我改成 bbr 试试看
    xwchenhui
        11
    xwchenhui  
    OP
       2020-12-21 11:01:05 +08:00
    @miyunda #8 这个试过,没效果,不过我测 NFS 的速度的时候用的是 rsync 。。。我得试试别的复制工具
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2670 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 85ms · UTC 15:28 · PVG 23:28 · LAX 07:28 · JFK 10:28
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.