V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
Achophiark
V2EX  ›  NAS

Raid6 阵列重建时间太长求助

  •  
  •   Achophiark · 2023-10-23 15:01:56 +08:00 · 1637 次点击
    这是一个创建于 388 天前的主题,其中的信息可能已经有所发展或是发生改变。
    最近一台联想服务器安装的 ESXi 8,raid6 8T x 10 ,一块硬盘坏,esxi 内有不到 20 个虚机,新购硬盘插入后,13 日早上重建至今 10 天了还没完成,有经验的同学给说说这样是否正常。网上看到大概 8t 也就 100 小时重建。
    27 条回复    2023-11-03 09:43:09 +08:00
    esee
        1
    esee  
       2023-10-23 15:07:24 +08:00
    看你啥硬盘啥 CPU ,软 raid 还是硬 raid ,只要重建有进度在走,就这样吧,反正也没啥其他方法。在服务器前烧几炷香求老天爷保佑,这是唯一能做的
    gregy
        2
    gregy  
       2023-10-23 15:13:22 +08:00
    能装 esxi 应该不是软 riad 。联想用的应该是 lsi 的阵列卡,esxi 里安装一个 storcli 看看重建的状态和阵列卡的日志,别是重建的时候有啥问题导致重建卡住。另外如果虚拟机的磁盘 IO 比较高,阵列卡会优先保证磁盘 IO 并减缓重建的速度。可以用 storcli 调整重建的策略,牺牲一部分的磁盘 IO 速度加快重建速度。
    knightgao2
        3
    knightgao2  
       2023-10-23 15:13:50 +08:00
    服务器建议 raid 10
    Achophiark
        4
    Achophiark  
    OP
       2023-10-23 15:16:48 +08:00
    @gregy 阵列卡是 ThinkSystem RAID 930-16i 4GB Flash PCIe 12Gb Adapter
    在 xcc 里能看到“重建中”但看不到进度。虚拟机的 io 确实挺高的,但有不能停的话,重建迟早应该会完成吧?
    Achophiark
        5
    Achophiark  
    OP
       2023-10-23 15:18:20 +08:00
    @knightgao2 现在来不急了啊
    luoshengdu
        6
    luoshengdu  
       2023-10-23 15:22:18 +08:00   ❤️ 1
    重建其实就是硬盘的重新同步,也就是写入速度。有业务在跑,通常重建速度不超过 50MB/s 。

    那么计算可得:( 8T*8 个*0.93 (实际可用空间)) 50MB/s=1190400 秒,约 330 小时,耗时 14 天
    gregy
        7
    gregy  
       2023-10-23 15:26:00 +08:00   ❤️ 1
    @Achophiark 这个就是联想 OEM LSI 的卡,在 esxi 里装 storcli 看看重建真实的状态和进度,闭眼干等万一有坑就不好办了。
    同意三楼的观点服务器用 raid10 比 raid6 要好,raid6 写惩罚太高,再加上你的虚拟机磁盘 IO 高阵列还在重建整体的性能更拉跨。不过 raid10 的成本会高很多。
    你的服务器用了 10 个 8T 盘应该至少是一个 2U 的服务器,一般 2U 服务器能装 12 个 3.5 寸硬盘,加一块盘做成热备吧,这样多少能提高一些可靠性。
    geniussoft
        8
    geniussoft  
       2023-10-23 15:43:14 +08:00 via iPhone
    不正常,空载 8T x8 RAID6 重建 12 小时左右
    Achophiark
        9
    Achophiark  
    OP
       2023-10-23 16:24:44 +08:00
    @gregy 找到相应的 storcli ,提示安装成功,但要重启,正在重建中,重启 esxi 有啥问题吗?
    Achophiark
        10
    Achophiark  
    OP
       2023-10-23 16:25:44 +08:00
    @luoshengdu 谢谢回复,意思是还没到时间,再等等。
    Achophiark
        11
    Achophiark  
    OP
       2023-10-23 16:26:26 +08:00
    @geniussoft 这位同学说的是空载吧
    dode
        12
    dode  
       2023-10-23 16:54:02 +08:00
    把重要的信息备份出来,迁移出虚拟机
    gregy
        13
    gregy  
       2023-10-23 17:03:45 +08:00
    @Achophiark 应该不用重启,网上查查 storcli 的命令,到 /opt 目录下找到二进制文件执行。注意看清楚命令解释别把虚拟卷删了
    gregy
        14
    gregy  
       2023-10-23 17:05:40 +08:00
    @Achophiark 重建中重启没啥问题,不过你都打算重启物理机了,说明虚拟机的业务可以停止?不如晚上把虚拟机关机看看没有负载的情况下能不能重建的快一些。
    Achophiark
        15
    Achophiark  
    OP
       2023-10-23 17:54:23 +08:00
    @dode 虚拟机都有备份,但是这是单主机,没办法迁移
    @gregy 虚拟机可以停止业务,但停止了还是有些许麻烦的,实在不行停止。
    Achophiark
        16
    Achophiark  
    OP
       2023-10-23 18:04:33 +08:00
    /opt 下找不到二进制文件,find / -name storcli 也找不到
    waringid
        17
    waringid  
       2023-10-24 08:59:50 +08:00
    @luoshengdu 实际不太可能 8T 数据完全占满的。但是高负载情况下磁盘同步的速率确实很低

    同时需要确认整个磁盘阵列的可用空间是多少,如果已用空间占了磁盘的 80%,那可能需要更长时间。像 8T 这么大容量的硬盘如果配置 RAID6 风险还是挺大的,主要是数据同步的时间太长,如果是同一批次的硬盘是可能存在通过过程中其它硬盘故障的情况
    gregy
        18
    gregy  
       2023-10-24 09:08:16 +08:00
    @Achophiark 我怀疑你装错了。试试这个,这是所有系统的 storcli 。找里面适用于 VMware 的
    https://docs.broadcom.com/docs/007.1715.0000.0000_Unified_StorCLI.zip
    gregy
        19
    gregy  
       2023-10-24 09:13:58 +08:00   ❤️ 1
    @waringid 我记得 raid6 应该是全盘重建和数据的写入量没有关系。用了 1M 是重建全盘,用了 7T 也是重建全盘。
    ttvast
        20
    ttvast  
       2023-10-24 11:36:32 +08:00
    @waringid 硬 raid 不管你用了多少空间,全盘读写重建的。
    Achophiark
        21
    Achophiark  
    OP
       2023-10-24 14:14:51 +08:00
    服务器配置 https://www.v2ex.com/t/897495
    @waringid 总计 60T 用了 26T

    @gregy 我装的没问题,你给的这个是 esxi7.1 以前版本的,我的是 BCM_bootbank_storcli_007.2414.0000.0000-01.vib
    @ttvast 都说要完整重建,按照 6 楼同学的算法我大概算了 下也要 15 天以上了。
    目前先不折腾了,等等我再来汇报一下,感谢大家的回复
    Achophiark
        22
    Achophiark  
    OP
       2023-10-24 14:18:29 +08:00
    @gregy readme 虽然有提示
    Notes :
    1. VIB under directory "VMwareOP" : This binary is for versions from ESXi6.0 to ESXi6.7.
    2. VIB under directory "VMwareOP64" : This binary is for versions from ESXi7.0 and later.
    但安装提示如下:
    On platform embeddedEsx, VIB BCM_bootbank_vmware-storcli64_007.1705.0000.0000-01 requires esx-version << 7.1.0, but the requirement cannot be satisfied within the ImageProfile.
    gregy
        23
    gregy  
       2023-10-24 15:07:27 +08:00
    @Achophiark 我搞错了,我还没用过 8.0 我用的还是 7.0 甚至有部分 6.0 的还在运行。。。
    Achophiark
        24
    Achophiark  
    OP
       2023-11-02 17:16:40 +08:00
    11 月 1 日终于重建成功了,向各位同学汇报一下。前后历时大概 15 天,第一帖说的 13 日开始重建是不对的,13 日是降级,查日志是 17 日开始插盘的。谢谢各位的帮助了。
    @esee
    @gregy
    @knightgao2
    @luoshengdu 这位同学的推算时间基本准确
    @geniussoft
    @dode
    @waringid
    @ttvast
    @luoshengdu
    Achophiark
        25
    Achophiark  
    OP
       2023-11-02 17:17:05 +08:00
    waringid
        26
    waringid  
       2023-11-03 08:21:19 +08:00
    不容易啊,这种情况身心煎熬
    Achophiark
        27
    Achophiark  
    OP
       2023-11-03 09:43:09 +08:00
    这种单主机确实煎熬,没法迁移虚机,不过还好,都有备份,只是一旦 raid 崩了,整个 esxi 重建就更煎熬了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2509 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 16:09 · PVG 00:09 · LAX 08:09 · JFK 11:09
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.