用永擎 C236 WSI4-85 ( 64G ECC )+ OWC U2 Shuttle + CyberPower 的 UPS 组了全闪的 Homelab/NAS 。
5 X 2T 的 SATA (其中一个在主板的 m.2 上)组 RAIDZ2 存放数据,4 X 512G 的 NVMe (m.2) 也是组 RAIDZ2 做系统盘。由于实际上是个 PLX 设备,内部数据交换不会走到主机上,所以性能挺不错。
NVMe 用了一根中上等的牌子,一根一般的牌子,两根垃圾的牌子(现在固态好便宜,可以考虑升级一波)。
另外通过 4 个千兆口 bonding 把 Garage (一个开源的 S3 对象存储)里面的东西通过 Rclone 备份到局域网内的 4 x 4T HDD ( 15mm ) 组的 RAIDZ2 里面,这东西拿 Riverbed 的机器做的。
至于 Riverbed 还连了个二手的磁带机做冷备份(虽然我从来没从里面取过数据)...
平时的话就是使用 C236 WSI4-85 这个 AIO ,万一有需求了使用 Riverbed (虽然感觉这备份几乎也用不到)
总的来说,C236 WSI4-85 这个 AIO 已经足够我用了,能塞到 15 寸笔记本放不进去的包里面,由于是全闪,重量也不是很重。
有些东西就是纯为了研究和折腾的时候捎带捡的垃圾,有些东西倒也真的算是好东西。
PS: 关于容量,因为确实没有那么多需要值得保存的数据(还是有一些的),做 RAIDZ2 只是懒得在硬盘坏了之后重装系统或是恢复备份。关于全闪,主要为了轻量化可以适应随搬随走。
1
zhlxsh 2023-06-07 20:19:39 +08:00 via iPhone
机器多少钱?每个月电费多少钱😂
|
2
Emiya1208 OP @zhlxsh 还好,AIO 机器 + 那个盒子 3000 吧,反正 RAIDZ2 硬盘大部分都是捡的垃圾。功耗嘛,这堆 SSD 可能还不如两块 HDD 。整机功耗在 50w-75w 这样。
|
3
uncleroot 2023-06-07 21:56:50 +08:00
方案不错。
之前跟风搞了几个 16T 的硬盘 + HPE GEN10 总成本快上万了,还没 Nvme 盘位。 |
4
lemonsz14 2023-06-07 22:13:20 +08:00 via iPhone
原来如此
|
5
9544 2023-06-07 22:38:22 +08:00
好奇跑什么服务
|
6
ryd994 2023-06-08 02:54:13 +08:00 via Android
系统盘没必要搞 raidz 啊,CPU 消耗大而且随机读写性能差。
系统盘用 raid10 足矣。如果系统盘严格只存软件不存数据,而且配置文件有备份的话,raid0 都 OK 。 定期备份系统的话,直接从备份恢复很快的。 “由于实际上是个 PLX 设备,内部数据交换不会走到主机上” plx 并不能复制数据。zfs 是纯软件实现。有几份副本就要写多少数据,并没有内部交换的功能。何况你用的是 raidz2 ,plx 没有算力,不可能创造校验数据。 plx 的作用是在 CPU pcie lane 不够的时候,增加额外的 plx pcie lane ,带宽共享,只要不是同时跑满就没事。 显卡 SLI 的情况,显卡自身能产生数据,和其他显卡交换数据。这时候用 plx ,确实能让交换数据在显卡间交换而不经过 CPU 。 |
7
ltkun 2023-06-08 05:56:42 +08:00 via Android
四个盘搞 z2 合适吗 空间利用率和 raid1 一样了都 性能不知道 OK 不 系统盘我懒得重新安装 一开始一根 2t 的 nvme 今年乘着国产雄起又加了一根做了软 raid1 现在这个行情感觉全固态是完全 OK 的 毕竟 4t 都 999 了
|
8
Emiya1208 OP @ryd994 拆解为三部分回复
1. 在我的场景 RAIDZ2 是有必要的,这个会在 3 里面再解释,尽管 RAID10 也是可以的,但是我不喜欢同时管理两种东西。 2. 如果是向 NVMe 组成的 RAIDZ2 外搬迁数据,确实会造成一些 CPU 消耗。但是当我在使用 NVMe 阵列的若干个虚拟机之间传输数据时,我没有看到这样的情况,并且测试数据的表明 PLX 应该是工作的,他们之间的传输速度能够达到 8000MB/S(由于在下面 3 里面的设计,这部分我不再方便截图),然后在其中一台虚拟机内部测试的结果如下 ![测速]( ) 3. 我将每个使用 SATA RAIDZ2 阵列的虚拟磁盘每个都搭配了 1/16 的 NVMe RAIDZ2 阵列的虚拟磁盘,他们组成了 Bcache ,用来提高我日常 80% 的使用时的性能,RAID10 运气不太好的时候虽然不会导致我的数据丢失,但是由于我的目标是尽可能,尽最大可能不使用机械盘的备份甚至是磁带机的冷存储。所以我还是坚持使用 RAIDZ2 ,并且由于 2 部分的性能表现足够我使用了。 |
9
Emiya1208 OP @ltkun 数据盘是 5 盘,提高机箱厚度可以上 6 盘,超过 4T 的空间由于不是我的硬需求(当前是 6T ),我更关注拷贝数据的速度。因此性能方面,我的使用经验看下来是 OK 的。
|
10
Emiya1208 OP @9544 除了常见的一些东西( dns s3 tun2socks webdav samba jellyfin ),还有一些测试的东西,想法验证。他们分为若干台一直使用的东西,和若干台随时摧毁的东西。由于显卡支持虚拟化,使用 Parsec 远程 windows 虚拟机也可以给我在特定的时候使用(这样我就不需要在笔记本上装 windows 虚拟机了,windows 在特定的时候依旧是唯一选项)
|
11
hunono 2023-06-08 09:37:06 +08:00
数据备份方面做了啥计划、配置?
|
12
hezhile 2023-06-08 09:56:06 +08:00
弱问,系统盘为什么不是两个 u 盘 raid 1 的?
|
13
zycode277 2023-06-08 10:09:38 +08:00
老哥牛的, 看你后续提到“显卡支持虚拟化,使用 Parsec 远程”,具体用了哪款?
|
14
Emiya1208 OP @hunono 基础设施使用 Infrastructure as code 管理,数据都在 DB 和 S3 ,DB 每天备份到 S3 ,S3 Rclone 每天全量备份到 Riverbed ,每周清理。后面可能考虑更换增量备份的方案,但是我现在没有上 100G 的数据需要备份... 暂时没有动力...
@hezhile 理论上实际上当然都是可以的,两块 SSD 同时坏的可能性是存在的,我就选择了用 RAIDZ2 减少我需要手动恢复备份的可能性。 @zycode277 主板上的那个 CPU 的集显就支持,可以虚拟出来两张 1080P + 一张 720P 。一张给 Jellyfin 硬解,一张给 windows 另一张暂时没用。 |