1
maichael 2021-02-12 00:21:12 +08:00 1
1. 链路聚合是同一个 IP
2. 链路聚合有很多种模式,要看你配置的那种,而且需要交换机真正支持聚合(某些便宜一点的交换机聚合起不了带宽*2 的作用),可以先用 iperf3 测试 3. 聚合需要程序是多线程或者多进程。 |
2
msg7086 2021-02-12 06:47:05 +08:00 1
主机上要把两个万兆口聚合成一个,用一个 IP 。
|
3
dncg 2021-02-12 08:39:30 +08:00 via iPhone 1
单 ip,只能用满一条带宽,1 万兆。链路聚合是给多 ip 同时访问用的。好像 smb3 可以拉满宽带,貌似不是走的链路聚合。你可以查查看
|
4
Tarkky 2021-02-12 08:48:00 +08:00 1
主机也得做,交换机什么模式的聚合,主机上也得一样就好了。话说你什么服务?网络存储么?
|
5
siknet OP 感谢大家恢复,去年生意惨淡,临时兼职运维。
@Tarkky 朋友是做无人机勘测的,要为甲方提供地面三围重建,需要集群计算,网络交换数据量很大,1 台主机 5 台从机跑一个项目,一个小项目大概 1 万张照片,100g 大小,空中三维计算后大概 300g,大概几十万到一百多万个文件。最后重建完成的数据量很小。今年还要弄个集群,准备上大船货了,PM983 的 12TBW 估计扛不了多久 |
6
Tarkky 2021-02-12 10:38:41 +08:00 1
那交换机得买好的,背板交换和端口速率都不能含糊
|
7
siknet OP @Tarkky 囧,为了节省成本,上的是 600 块的 24 千口 8 万口的二手交换机,网卡用的是 cx341 的魔改万兆,iperf3 测试单口只能跑到 7g/s
|
8
CallMeReznov 2021-02-12 13:45:12 +08:00 1
我这边因为条件有限,是用 8 条电口 1000M 做的端口组.
我个人的理解,限制速度主要还是终端侧,交换机一般情况瞎是遇不到什么瓶颈的. 所以你希望其他主机访问达到要求只要该主机与交换机的链路达到 20G 就可以了. 但如何能跑满这 20G 的带宽,就需要服务器的 IO 与传输协议各方面的支持,可能还需要调整巨型帧这类参数. 加拿大白嫖王有相关视频可以看一下:https://www.bilibili.com/video/BV1js41127Gi |
9
Conty 2021-02-12 15:14:52 +08:00 1
本人网络工程师,尝试回答。
链路聚合业内标准基本上都是 LACP/LAG,通过绑定多个物理端口成为一个逻辑端口来扩展数据承载能力。需要两端设备都支持 LACP 协议。链路聚合不适用于单个流的负载分担 /负载均衡。流的定义就是源 IP,源 MAC,目的 IP,目的 MAC 和端口号都相同的数据包的总和。如果你的场景就是单台客户机 /终端与单台服务器之间的通信,做不了分担 /均衡,只能用 40G 或者 100G 端口。 |
10
bearice 2021-02-12 16:08:17 +08:00 1
楼上 基本正解 但是也不是完全不可能做单流负载均衡 一些特殊场景下 round robin 模式是可以做到的 不过会带来乱序包之类的问题,并且支持的设备不多.
|
11
siknet OP @Conty 请问 40g 端口通信跑满的话,硬件一般都是什么价格的啊,5gb/s 起码都要 pcie4.0 的 nvme 才能跑到了吧,或者 raid ?
|
12
bearice 2021-02-12 19:27:07 +08:00 via iPad
交换机 思科的 93180 全新也就几千刀 杂牌的更便宜
话说如果只有几百 G 数据的话扔内存不就行了 现在 ram 又便宜 或者直接去 aws 开几个虚机 硬件最高有 100g 网卡 内存也管够 用完了关机还不要钱 |
13
siknet OP @bearice 小集群,开始没个底,又遇到矿潮显卡价格暴涨,就按家用机标准搭的,主机是 zen3+ x570+2080+64g ddr4,实际上内存占不满,可是 x570 和撕裂者最高也就支持 128G 和 256G 内存,所以 ramdisk 有点麻烦,下批集群如果预算够考虑上 EYPC 试试。
一个小项目 10000 张照片全程跑完要 20 个小时左右,AWS 不划算吧,上传几十 G 数据都要好久 |
14
Conty 2021-02-14 16:15:56 +08:00 via iPad
@siknet 主机这边不懂。交换机的话正经厂家做出来的交换机如果没有标 overSubscribing 的 40G 端口都可以跑满线速。
|
15
flynaj 2021-02-15 12:13:11 +08:00 via Android
聚合就只有一个聚合后的接口了。一个 IP 就行。
|
16
julyclyde 2021-02-16 13:17:49 +08:00
搞不清楚聚合需要几个 IP,这是一种典型的没能理解网络协议分层的表现
|
17
siknet OP @Conty 大佬,我在办公室自己折腾试验。2 台 intel 八代 /十代平台,都是 CX341 的万兆卡,用的是 7 米的 DAC 堆叠直通线,跑 IPERF3 只有 3.xG 的速度,MTU 和巨型帧调高以后速度更慢。请问应该从哪些地方着手去找问题?有个 7 、8G 我也就满意了,3G 太慢了。
感谢! |
18
siknet OP 补充一下,机器都只有 M.2 的硬盘,直接复制大文件速度也只到得了 280MB/s
|
19
Conty 2021-02-18 11:45:46 +08:00
@siknet 建议你用 wireshark 之类的抓个包看看,是不是有啥错包之类的。通常从 wireshark 的抓包里面可以看到很多 TCP 相关的东西。
|
20
Canglinstraw 2021-11-03 08:45:13 +08:00
@siknet 你好啊,问题解决了吗?我这里出现了同样的 Bug
|
21
siknet OP @Canglinstraw 并没有。。。也没去管了。甲方根本不 care 这个问题
|
22
Canglinstraw 2021-11-15 20:36:19 +08:00
@siknet 哈哈哈好的,谢谢回复哈~
|