光猫下行千兆端口聚合，一次失败的实验

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1304 天前的主题，其中的信息可能已经有所发展或是发生改变。

折腾，一天不折腾手痒痒，今天折腾光猫。

无意间在隔壁 k 站看到光猫下行口聚合的帖子，恰好自己刚买了一台全新 HS8145X6 EPON，然后自己看帖子开 telnel 补全 shell，改了 GPON 模式。

虽说只是普通的 GPON 2.5G 下行，但据说兼容 10G XGPON 线路，不用担心普通 GPON 线路带宽不够的问题？跑千兆应该没问题。上行 XGPON/10G EPON 下行 2.5G/10G 网口的猫就算了，感觉不值得，目前也买不起。

原帖是通过 Mikrotik 的设备创建 bonding 聚合接口，聚合模式是 balance-rr，因为光猫不能创建端口聚合组，所以只能用这个模式。

手头正好有个 hap ac2 就测试了下。但是不在家只能测试 PC to HAP ac2 to HS8145X6 to 手机的速度。其中 HAP ac2 和 HS8145x6 通过两条网线连接然后聚合。从 HAP ac2 能看到流量平均从两条线路通过。说明聚合没问题？然后速度惨不忍睹，iperf3 只有 300Mbps 的速度，telnet 到光猫一看好家伙 CPU 单核直接占满。
正常单线情况下 HS8145x6 LAN to WIFI6 5G 80Mhz 手机能达到 800Mbps 以上下行速度，CPU 双核都剩余 30 ％左右。不知聚合后 CPU 为什么占用这么多。光猫桥接的情况下不知道会不会有这个问题。

交换机的端口聚合:
只有 Linux 系统 Mikrotik 的 ROS openwrt 做端口聚合才能设置流量平衡模式为 balance-rr 么？
试了华为的交换机 Eth-Trunk 二层聚合，和华为路由器的 Eth-trunk 三层聚合，手动模式，流量平衡模式只有 src-mac dst-mac src-ip dst-ip bandwidth 等等，无论怎么设置都只有一个端口有流量。锐捷，H3C 的设备类似情况...

聚合

hap

hs8145x6

ac2

5 条回复 • 2021-07-29 10:45:23 +08:00

ChangeTheWorld

2021-04-29 08:51:50 +08:00

桥接光猫再 balance-rr pppoe-out 接口在 bonding 上，实测无问题

LGA1150

2021-04-29 09:56:44 +08:00

聚合模式只对发送端有效，光猫在没配置聚合时永远不会同时用两个口发送给路由器

Tianao

2021-04-29 21:25:18 +08:00

1. 软负载分担很吃 CPU，这和聚合本身没关系。所以交换机有专门的处理器 /电路（可能是 LPU 、SFU 等）做负载分担。

2. 源 /目的 MAC/IP 四元组参数全部一致的情况下，哈希也是一样的，在操作 key 稳定的情况下，流量将永远被分担至相同的端口。

部分 -SI/-EI/-HI 的型号 /框式 /数据中心产品 /路由器 /防火墙支持基于传输层端口的负载分担或 per-packet 负载分担，除此以外还有基于 MPLS 标签的 /基于入接口的 /基于协议号的 /flexible 等。per-packet 负载分担基本就等同于 balance-rr，可以实现逐包负载分担，也就是让同一个 TCP 连接走不同的出接口。

但是越复杂、越上层的负载分担，对设备的处理负担也就越大。在低端设备上，我们真的需要粒度如此精细、如此接近绝对均衡的负载分担吗？在许多时延 /抖动敏感的应用上，多径大带宽的 TCP 传输效果真的比单一路径小带宽要好吗？跨框双归属 /M-LAG 的场景下，本地优先转发更是会优先于负载分担，让归属到非本地设备的链路直接不参与负载分担。

lxll

2021-04-29 22:51:13 +08:00 via Android

@Tianao 感谢，受益匪浅

goushengnankong

2021-07-29 10:45:23 +08:00

@ChangeTheWorld 我的软路由上装的 PVE 然后虚拟化的爱快在 PVE 上使用 balance-rr 绑定网卡，然后将这个绑定的网卡分配给爱快进行 PPPOE 拨号无法拨号。大佬可以给点指导意见吗？