V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
i3x
V2EX  ›  宽带症候群

图吧版 12 盘静音 nas 方案分享

  •  
  •   i3x · 2022-06-17 17:46:27 +08:00 via Android · 3407 次点击
    这是一个创建于 894 天前的主题,其中的信息可能已经有所发展或是发生改变。
    前言
    太多人折腾瘦骨如柴的类 atom 的 j1900 之类的低功耗方案。对此我只想说浪费生命。如果硬盘够多,平台功耗相对而言也就没那么重要了。。

    适用人群:
    1 、内存需求。虚拟机多开
    2 、pt 仓鼠症。硬盘多。甚至很多老盘也想用上。
    3 、适当的 cpu 需求....没有核显,如果需要转码纯粹靠 cpu 力大飞砖。

    方案:
    既然是图吧版,肯定是捡垃圾。

    1 、主板。海鲜市场。300 。。微星 MS-S1361 。理由:双 82599 万兆。相当于板载市价 500+的 INTEL X520 DA2 。。双英特尔 210 网卡。相当于买网卡倒找 200 还送主板。。
    单路 2011 平台,8 内存槽。自带 2011 长方形铜散热。没什么声音。自带 2 个 sata3 ,4 个 sata2 ,4 个相当于 sata3 的 scu 引出接口。4 个空焊盘。2 个 pcie x16 。计划一个接直通卡增加硬盘接口数量。

    2 、机箱带电源。海鲜市场。280 。。。2u 机箱 12 个 3.5 盘位满盘架。3 条 4 盘背板。反正不热插拔差不多了。也有电容。自带 1u 电源,不管是工作还是待机只是很小的声音,几乎听不到。但是自带的 4 个风扇不仅吵,震动还很大。。。机箱本身是好几年前的 IPFS 矿机估计风扇老了。。随便买了几个安静的,直接兼容替换。风扇供电接口本来是巧妙的卡在固定外壳一起插入底部的。我换了新的风扇足够长,直接接主板。这样就可以看到每个风扇转速甚至控制他们。4 个风扇花费 75 。

    3 、拿出自有的不要钱的 32g 插 4 条,满足 4 通道。128g 搞定(不知道怎么回事这玩意儿工作在 ddr800 ,换了 16g )终于 1333 了。处理器也拿出压箱底的 E5-2650v2

    4 、一个 pcie x16 转 4m.2 转接卡。插入 4 个矿渣 1t 固态硬盘。4 个 sn750 1t (写入 1.8P 1.1P 0.4P 0.6P)配转接卡,海鲜市场 1600 拿下,亏不亏?

    5 、一个 IBM 机器搭配的阵列卡刷的直通卡。sas2308 芯片,95 不包邮。搭配 2 根线加上邮费共 130 。

    6 、硬盘还没想好。。。。打算捡 12 个 10-18T 的矿渣。

    操作系统准备直接安装
    oVirt
    然后其他玩法跟大家差不多,也差很多。每个人玩每个人的不一样。。。
    整个直通卡带着 8 个硬盘给 nas 。网口全给 openwrt 。就这样。

    iperf3 只有 6Gbps 。。。单核打满。。。4 线程都一样。。
    正在调试硬件。未完待续....
    28 条回复    2022-06-21 19:07:39 +08:00
    huaes
        1
    huaes  
       2022-06-17 17:53:25 +08:00
    我也打算搞几块垃圾 6TSAS 硬盘弄个 FreeNAS ,就是还在考虑装是装在服务器的 ESXI 里还是单独花一千多弄台 AMD 的小主机。。。
    i3x
        2
    i3x  
    OP
       2022-06-17 17:55:51 +08:00 via Android
    @huaes 正经用无所谓。要折腾请分开。不然倒腾数据麻烦。。。
    huaes
        3
    huaes  
       2022-06-17 18:14:40 +08:00
    @i3x HBA 卡肯定是直通的, 关键不知道 FreeNAS 要是重装导入数据完整性怎么样
    i3x
        4
    i3x  
    OP
       2022-06-17 18:39:10 +08:00 via Android
    @huaes 换系统最好全格。最佳文件系统就不一样。如果是担心 truenas 系统盘炸了重装,直接导入即可。。。他的盘也不是不可以挂在普通的 linux 下。。。
    idealhs
        5
    idealhs  
       2022-06-17 18:59:21 +08:00
    一般硬盘不用的时候不也就停转休眠吗,那其实硬盘多的话平时功耗也不会怎么高的呀
    hh4646908
        6
    hh4646908  
       2022-06-18 11:44:00 +08:00
    @idealhs 休眠=毁盘
    i3x
        7
    i3x  
    OP
       2022-06-18 13:36:57 +08:00 via Android
    @idealhs pt 党低不了。保种的肯定是一直在转
    @hh4646908 备份盘、固定数据盘倒是可以开启。。。。不怎么访问的那些。。。其他的随时可能被访问的还是保持转动吧。。。不然真的是毁盘。毕竟有访问的盘可能刚休眠就又要起转。。。比如连接电脑的机械硬盘。休眠时间太短就没什么必要。
    WuSiYu
        8
    WuSiYu  
       2022-06-18 19:30:26 +08:00
    ovirt 好像单机部署比较麻烦,NAS 上用 pve 、unraid 的更多
    alamaya
        9
    alamaya  
       2022-06-18 20:33:45 +08:00 via iPhone
    硬盘全是矿渣当 nas ,你存的啥东西这么不值钱吗
    i3x
        10
    i3x  
    OP
       2022-06-18 22:00:56 +08:00 via Android
    @WuSiYu 本来这玩意儿就是单机部署的。。。。openstack 之类的玩单机才麻烦。pve unraid 说白了本质都是要付费才能使用的。。。。pve 的付费源和免费源完完全全两码事有冤大头订阅过我把玩过。。。我宁可手撸 qemu-kvm 也不付费。。。。毕竟我其实也没几个虚拟机,主要都是稳定的

    @alamaya 这么大容量的大批量的也就是 chia 矿渣了。。。。一个盘一个月也不带停转的。不像玩家手里的货色起起落落瞎转。。一个月读取量 18T 硬盘也就几兆。。怕什么。。。何况我的重要的文件又不止一个地方。。。重要的数据可靠性靠在线的硬盘本身可靠也就是笑话。重要数据不备份炸了怪谁。另外硬盘非常大。炸了重建时间也非常久,实在是没什么必要靠什么 raid 保护。有那空间浪费我不如 ceph 或者 rsync 多持有几份。同样的价格,你们去买京东全新的,我可以买 3 倍一样的。我 3 倍容量的硬盘就不说跑奇偶教验,平时文件多保持几份比炸了之后数据只剩独苗了心安的多吧。
    我参与的场地。硬盘之前都是接在戴尔的服务器。。我不担心硬盘的过往。
    14T 的西数企业盘我去拿一万四一箱。相当于 700 块钱一个,都是几乎全新的。通电时间还不到 1000 小时,这种企业硬盘也能看到读写量的。读取就几个 G ,写入也就 14T 不到,就是写满一次。我担心什么?不就相当于低格一次的写入量?盘子都是 21 年的盘,说难听点 26 年之前用枕头包着随便砸坏了,卖给售后还能赚几百吧。。。除了表面灰大点擦一下就好,几乎就是全新的盘子吧。矿渣不是你想象中的矿渣,就像一知半解的人说显卡涨价是拿去挖比特币了,不要张嘴就来。

    给你科普下:
    显卡挖以太坊伤的是显存,看看那些维修视频吧。真的吃核心的矿,干核心的,最多半年,核心就 BOOM 了。显存伤是因为超频搞的,为了省电,核心都是降频在干的。。。。那些锁卡或者普通卡,挖过计算矿的,才是真正的伤。伤的也不是菊花黄,主要看的是供电。。不过二手显卡这东西我不碰。除非 200 内当玩具,否则还是免了。不管矿不矿,我认为显卡是除了拿固态硬盘当缓存外最容易损坏的部件了。。。
    硬盘矿也就 fil chia 之类的。。。ar 说白了本质上是一直 cpu 矿,randomx 算法跟门罗一致的。。。当然硬盘矿的固态矿渣还是不能碰。。。。。但是再恶心再恶劣的矿场,也比不过小白玩家的闷罐 RGB 机箱。。。cpu 硬盘 显卡 100 度没日没夜的通宵上网才是常态。。。。所以来路不明的二手配件心里有数就是。。

    以我选择的网吧服务器板子来说。。。。绝对 100%网吧二手没跑了。js 发货的时候把机箱也发了。网吧的那种脏灰我知道,这价格没人造假。。。反倒是买崭新的要瞧仔细了。。我是主服、副服两张板子都收了。一张 300 两张 600 包邮。js 连机箱都给了。。。虽然我看不上,只有 6 盘位而且是 6GSAS 背板。
    而后面买的机箱电源要不是看在机箱崭新未撕膜,正经的长城 2U ,我怎么可能会留着用呢。一个硬盘钱就可以买个全新的好电源了。

    另外海鲜市场大把的几乎全新的 2U 电源都是你说的那种矿渣。你可以问,js 会大声的告诉你:chia 用过的。1/10 的全新价格,就用了几个月的,有什么大不了的。
    idealhs
        11
    idealhs  
       2022-06-19 03:25:59 +08:00
    @hh4646908 @i3x
    我看网上说硬盘休眠伤硬盘的并不多,为什么停转起转伤盘呢,如果停转起转伤盘的话,带 HDD 的 PC 一天开机关机个几次,这个频率也蛮高的吧。
    i3x
        12
    i3x  
    OP
       2022-06-19 04:26:34 +08:00 via Android
    @idealhs 开关机几次也就几次。。。。某些场景下一天可能几百次。。。在某些易驱线硬盘盒如果不会设置,默认 15 秒休眠,配合操作系统的缓存,一天就能干上千次。
    蓝盘 C1 门还是轻的了。本来硬盘年负荷可能 200T ,经过这么折腾没跑多少就挂了。
    WuSiYu
        13
    WuSiYu  
       2022-06-19 04:47:32 +08:00
    @i3x 我记的很久之前试过 ovirt ,安装流程里一定要我添加个远程文件系统。
    我现役的折腾用的 NAS 就是 fedora server 手动挡,配合红帽那个 cockpit 面板用,不过下一台设备准备换 unraid ,一次性付费感觉也没啥。
    i3x
        14
    i3x  
    OP
       2022-06-19 13:27:59 +08:00 via Android
    @WuSiYu 要求 nfs 吧,你这个设置方式双节点起步,不过另外一个机器也不一定是 oVirt ,能提供 nfs 即可。因为你一开始数据中心的方式就设置错了。。我确实要集中化管理所以用 ovirt ,但是本地还是单机节点。直通卡直通给虚拟机。母机本身只是用 4 个板载 sata 口的盘子。nas 系统本身只提供 samba nfs 之类的基础服务,而且用户少,那么还是手撸简单。纯单机就 esxi 了。简单性能强。

    pve oVirt 这类都是普通 linux 管理 kvm 虚拟化,不过一个是 deb 一个是 rh 系。除非跑自带的类似 openvz 的容器,否则 cpu 损耗不小。。。
    ESXi Hyper-V 都是单独内核供虚拟化,损耗小很多。Hyper-V 虚拟双核虚拟机比物理节点本身还强,全部 cpu 都进虚拟机 cpu 性能几乎没有差别,日常误差以内。测试了国际象棋、cpu-z 。当然这两个系统提供的虚拟磁盘、网卡都是性能感人的存在。物理层硬盘 io 还没有 50%,虚拟机里已经满了,限制严重,这方面倒是 linux kvm 内核更强势。

    ESXi 单机玩好方便,随便找个码都行。也可以官网免费申请。问题是绝大多数功能是群集功能,不可能白嫖的,vcenter 第一步就要联网。不在意性能,图省事,服务器板子可选(最好是有 ipmi )依赖基础主要是网卡。
    大规模管理我就 oVirt 了。不管是 win 还是 linux 虚拟机 cpu 损失都不小。cpu 密集型 linux 应用我跑 lxc 容器。
    而 win 为主,硬件访问少,那就 hyper-v 。这东西不要想任何直通。考虑授权甚至可以只购买一个 dc 授权无限数量激活 win 虚拟机。或者普通授权也能自动激活 2 个。无桌面的专用版本免激活,可以装好之后用其它 win 电脑的 hyper-v 客户端添加管理,或者下载微软的大号管理软件。
    这三个算是不花钱用起来最舒心的。。。pve?开源订阅和付费订阅真的完全两码事。还有 unraid 不花钱的开心版也不是那么美好。。。
    idealhs
        15
    idealhs  
       2022-06-19 14:00:19 +08:00
    @i3x 哦原来如此,我感觉一天就是开关个 10 次也不算啥,我设置的一小时休眠,可能 10 次都到不了。如果是你说的 15 秒就休眠了那确实一天可能干到几百次,那样确实是不太行。
    huaes
        16
    huaes  
       2022-06-19 15:28:50 +08:00
    @i3x Hyper-V SATA 硬盘可以直通网卡也可以直通的,但是得看网卡支不支持,其他 PCIE 设备没试过
    i3x
        17
    i3x  
    OP
       2022-06-19 16:03:46 +08:00 via Android
    @huaes 网卡 sr-iov 硬盘不止是 sata ,nvme 也可以,母机先脱机即可。。。pcie 直通没有 ui 需要用 powershell 。。。这些东西我都试过,但是没那么方便。对普通人来说,还是不要想着拿这个直通。直通硬盘也只是为了硬盘文件系统的干净,性能跟直接直通 pcie 还是两码事
    huaes
        18
    huaes  
       2022-06-19 16:16:21 +08:00
    @i3x 用的人少没人图形化吧,不过我用过那个直通网卡的有图形界面倒是挺方便的。而且 windows 资源调度问题太多了,普通 windows 和 windows server 能差 20%,用了段时间还是换 ESXI 了
    i3x
        19
    i3x  
    OP
       2022-06-19 16:25:01 +08:00 via Android
    @huaes hyper-v 的虚拟机。除了 CPU 性能,其他全都坑。cpu 性能几乎 0 损耗。哪怕 linux vm 。从整数、门罗算法和浮点性能上看。虽然整数浮点也吃内存内存翻译也有损失,但是在这些 CPU 负载上差异不大。国人商家 vps 一堆用这个的。如果你是说 bug10 的虚拟机还是算了吧。主动防护就干掉了不少性能。。7-11 说白了都是差不多的 nt6 内核,64 位啥都不弄就是 500M 内存的水准。多吃的内存是被什么软件吃了。。。并没有 dos 到 95 ,以及 98 xp vista 那么多的变化。2016 干出来的 win10 确实没有 12r2 的快。
    inorobot
        20
    inorobot  
       2022-06-19 16:42:56 +08:00
    性能、功率、体积?
    i3x
        21
    i3x  
    OP
       2022-06-19 17:23:37 +08:00 via Android   ❤️ 1
    @inorobot 这东西没什么好说的吧?这种配置也就这样了。。。整机大概 150 瓦。硬盘休息了能到 50 瓦,性能自己搜这类 cpu 怎么样。力大飞砖实时转几个高码率或者录制还是可以的。。体积就 2u 服务器。。单独放肯定大的,跟其他东西堆一起就无所谓了。我的事情场景也不太可能压榨 CPU 用到两三百瓦,也不可能让硬盘休眠停转。
    hh4646908
        22
    hh4646908  
       2022-06-20 13:16:02 +08:00
    @idealhs 挂 PT 的话,一天上百次休眠应该是有的,非常伤
    pH
        23
    pH  
       2022-06-20 15:53:59 +08:00
    @hh4646908 有上传就触发转动? 一段时间没访问,就自动停下休眠? 所以如果都是间断不重合的访问,就疯狂的起起停停么?
    hh4646908
        24
    hh4646908  
       2022-06-21 09:03:36 +08:00
    @pH 可以设置多久无读写触发休眠,但是意义不大,设置长了就相当于无休眠,设置短了,就会频繁休眠。
    i3x
        25
    i3x  
    OP
       2022-06-21 13:21:33 +08:00 via Android
    @pH 对的。特别是设置 1 分钟 5 分钟那种所谓的爱护硬盘。其实是毁盘。。空转除了发热问题不大的。。硬盘怕的是读写量、震动、电源波纹。。。
    虽然是觉得固态硬盘总 TBW 很低,但是硬盘的年读写总量其实也不多的。。。固态的散热做好,家用低端硬盘读取几百个 P 也不成问题。收过一台网吧服务器,带的三星 830 读取量都已经超过计数上限不会增长了,写入才不到 1 个 T

    @pH 不是长短是本来就不适合挂 bt pt 这种随时可能被比较多的随机需求访问的。。一两个人、单位的倒是可以,但是从节能环保的角度,肯定是下班、睡觉的时候关机比休眠更好。自动每天开一次关一次不一定对电子产品更好。
    pH
        26
    pH  
       2022-06-21 14:41:27 +08:00
    @hh4646908 我觉得这个有点过于玄学了= = 毕竟系统时不时也有点啥后台任务,读点硬盘数据就触发了。 基本上只要开机了,总是会有读写发生的

    @i3x 家用场景,或者绝大部分场景,读写比都是严重倾斜的。我目前为止一直没有碰到盘坏了,感觉一定程度上也佐证了我的使用习惯,读远大于写
    isnullstring
        27
    isnullstring  
       2022-06-21 15:42:37 +08:00
    @huaes 不影响,只要不是跨版本,记得最新版的已经兼容不了旧版本组件的 ZFS
    i3x
        28
    i3x  
    OP
       2022-06-21 19:07:39 +08:00 via Android
    @pH 绝大多数场景除了经常玩游戏的用户。无论是看视频的用户还是干啥的用户都写大概都是 1:1 吧?家用场景,流媒体视频用户写到几十 T ,还是比较容易比较常见的。除了视频倒是没其他场景写入这么多。。。。讲个笑话,国内流媒体标注的“4K 蓝光超高清”码率 4Mbps ,是为了节约用户硬盘寿命
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1019 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 21:26 · PVG 05:26 · LAX 13:26 · JFK 16:26
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.