V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
cwek
V2EX  ›  Linux

一个关于 md 和 lvm 的问题

  •  
  •   cwek · 113 天前 · 1464 次点击
    这是一个创建于 113 天前的主题,其中的信息可能已经有所发展或是发生改变。

    做了一套这样的存储布局:

    1. 先用 md ,每两只磁盘做一个 raid1 ,做了 3 组
    2. 然后用 lvm ,将 3 组 md 做成 3 个 pv (--dataalignment 64K ),组成 1 个 vg ,再组一个条带 lv (近似 raid0 ,-i 3 )
    3. 这个 lv 再格式化为一个 ext4 ( block=4k ,stride=16,stripe-width=48 )

    以前也组过类似的组合,不过只有 2 组 raid0 。并且通过 iostat 检查磁盘读写来定时让磁盘休眠。

    现在新组的这套存储,iostat 发现每隔几秒就有几 k 的数据写入。用 lsof 也没找到有进程在使用挂载的文件夹,然后 umount 掉就静止下来了。

    有没办法确认到这个文件系统是被哪个进程操作中?

    12 条回复    2024-07-25 20:16:14 +08:00
    MeteorVIP
        1
    MeteorVIP  
       113 天前
    我都不知道还能这样组的,我以为要么纯 raid,要么纯 lvm.
    不过 5 个机械硬盘组 raid0 我觉得很爽了.主要用来 PT.
    cwek
        2
    cwek  
    OP
       113 天前
    @MeteorVIP
    md 设备也是一个块设备,可以加入 lvm 的 PV 中。这样搞主要是 mdadm 的 raid0 不支持容量扩展,lvm 可以对 lv 扩展容量,前面说过这组本来就只有 2 个 raid1 块。这是用来做暖存储的,下载空间是用另一个磁盘承载。
    adrianzhang
        3
    adrianzhang  
       113 天前
    几 k 的写入是对谁的?
    cwek
        4
    cwek  
    OP
       113 天前
    @adrianzhang
    磁盘
    adrianzhang
        5
    adrianzhang  
       113 天前
    @cwek 如果卸载 LV 就没有写入,那说明是 LV 上的动作,ext4 是日志式文件系统,如果关闭日志试试呢?不过我还是建议你逐层监控一下,对磁盘,对 md ,对 vg ,对 lv 。以确定到底是什么导致的对磁盘写入,万一是 vg ,折腾 ext4 就没有意义。
    Ayahuasec
        6
    Ayahuasec  
       113 天前 via Android
    刚格式化完的话,可能是 ext4 的 lazy init 导致的,以前有碰到过一次这个问题,导致几块硬盘一直不休眠。印象里是 mkfs.ext4 加一个啥参数可以立即把初始化数据写完的,而不是慢慢写。
    cwek
        7
    cwek  
    OP
       113 天前
    @Ayahuasec
    has_journal ext_attr resize_inode dir_index filetype needs_recovery extent 64bit flex_bg inline_data sparse_super large_file huge_file dir_nlink extra_isize metadata_csum

    ext4 特性参数配置了这些,感觉有这个可能。
    MeteorVIP
        8
    MeteorVIP  
       109 天前
    @cwek #2 好的,我用 omv 试试,打算是机械硬盘组 raid0,再和固态硬盘组 lvm,
    cwek
        9
    cwek  
    OP
       107 天前
    @Ayahuasec @adrianzhang 由于之后往这个磁盘阵列写了一天多的数据,没再继续观察。然后拷完数据以后,就没再出现突然少量写入导致磁盘无法休眠的情况。可能就是新磁盘 lazy init 的问题。
    cwek
        10
    cwek  
    OP
       107 天前
    @MeteorVIP 只是变相 raid10 ,而且看了资料,一个已有的 lv 再添加 pv 的话不会和之前的 pv 组合成连续的条带组,所以只有容量增加了,达不到 raid10 的 0 部分的效果。这次其实相当于整个阵列重建,因为新加入的 1 组合的大小和原有的不对,有弄丢之前创建时的参数,所以干脆整个拆掉重建。
    MeteorVIP
        11
    MeteorVIP  
       107 天前
    @cwek #10 其实我不需要 raid10 ,只需要机械硬盘 raid0 的速度,lvm 加上固态硬盘的速度。等于是速度最大化吧,
    adrianzhang
        12
    adrianzhang  
       107 天前
    @cwek 点赞!事事有回应。op 是个靠谱的人。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1139 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 23:38 · PVG 07:38 · LAX 15:38 · JFK 18:38
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.