V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
Adamdad
V2EX  ›  NAS

DIY NAS (All in boom) 回来交作业了

  •  
  •   Adamdad · 3 天前 · 3254 次点击

    All in Boom 组装完成汇报及踩坑经验分享

    大家好,我的 All in boom 组装完成已经有一段时间了,想给大家汇报一下情况,以及期间所踩的坑。如果有朋友能从中得到经验就最好不过了。
    原帖链接想给家里配一台 NAS (All in boom),动手前想让各位大佬评论一下

    硬件配置部分

    • 机箱:安钛克 P101-S
    • CPU
      • CC150
      • 另有一块 i3-8100 用于调试以及第二台 NAS
    • 主板:Z390 太极 Ultimate
      • 板载有 AQUANTIA® / Marvell 万兆网卡
      • 两个 Intel 千兆网卡
    • 内存:32GB × 4 (金百达银爵电竞散热款
    • 硬盘
      • 16TB × 4 (京东自营的东芝 MG08 )
      • 系统盘:512GB NVME 固态硬盘
    • 额外网卡
      • 网卡 1:2.5G 网卡 TL-NG421
      • 网卡 2:双口 SFP 万兆网卡 迈络思 CX4121A
    • 交换机:磊科 GS10
      • 8 个 2.5G 电口
      • 2 个 万兆 SFP
    • UPS:APC BK650M2-CH

    系统架构

    • 主系统 PVE
      • OPENWRT 虚拟机直通了:
        • 2.5G 网卡(做 WAN 口)
        • 万兆 SFP (做 LAN 口)
      • TrueNAS Scale 虚拟机直通了:
        • 主板的 SATA
        • 万兆 SFP
      • Windows 虚拟机直通了:
        • Marvell 万兆网卡
        • 主板的无线网卡
    • PVE 管理网卡:主板上的其中一个千兆网卡

    我踩过的坑

    1. 内存条问题

      • 问题描述:刚开始贪便宜买了爱国者的内存条。在京东自营上买了 4 根 16GB 的爱国者内存条,折磨了我十多天。当测试的 IO 增大时,TrueNAS Scale 系统与主系统就会各种重启,还留不下什么有效的日志。重装了多次系统后,怀疑是内存条的问题。使用 MemTest86 测试后发现内存条确实有问题。
      • 解决方案:更换为 金百达 的内存条,通过了 MemTest86 测试,之前的问题再也没出现过。
    2. PVE 上为 TrueNAS Scale 创建虚拟硬盘

      • 问题描述:用两个 512GB 的 NVME 固态硬盘作为 PVE 系统盘(我理解是相当于运行在 “RAID1” 模式,安装 PVE 时只能选 Btrfs ,不给选 ZFS ,安装器给出的解释是两个固态硬盘型号不一样)。为 TrueNAS Scale 创建虚拟硬盘作为 SLOG 、Metadata 和去重。这样做一旦 NVME 硬盘坏了或者 PVE 系统坏了,ZFS 池可能无法恢复。同时,这给主系统盘带来了很大的 IO 压力,加上内存条有问题,导致系统经常死机。
      • 解决方案:改用更换内存条后,我不再使用虚拟硬盘给 TrueNAS Scale 当特殊设备,这样至少机械硬盘没有挂掉的情况下,可以通过新的 TrueNAS Scale 系统导入池保住数据。
    3. 主板上的 AQUANTIA® / Marvell 万兆网卡

      • 问题描述:大多数网上的 OPENWRT 固件无法驱动该网卡,即使我后期编译好了自己选驱动的固件,也没有继续尝试,因为已经使用了 TL-NG421 和 CX4121A ,没必要浪费时间了。
    4. 网卡 SR-IOV

      • 问题描述:虽然可以实现,但在硬件足够的情况下,直接直通更为简便。由于第一个大坑浪费了太多时间和精力,后期不太想折腾这种可能引入不稳定因素但收益不大的配置。

    其他

    许多老哥提到不要把路由器系统放到 All in Boom 里,非常感谢各位的血泪教训。不过我真的喜欢 x86 的性能,所以还是这么做了。同时准备了一台 ARM 的软路由在旁边,一旦出事,只需要拔两根线插两根线,作为一种补救措施。

    求助问题

    最后我有一个问题问问大家:

    现在用软路由科学的最新最稳定的方式/软件/协议是什么?
    我坐标某河北小城,用 SSR+Passwxll 以及 OpenClxsh 配合 V 都不好使,订阅的 SS 也不行,配合 mosdns 也不行,太难受了。急需大神出出主意。(同样的 V ,手机上用软件就可以,非常神奇,我猜测是 DNS 这部分没弄好,但是我也不太会这部分)

    感谢大家的帮助!

    45 条回复    2024-11-12 16:55:06 +08:00
    MYDB
        1
    MYDB  
       3 天前
    针对结尾,没有稳定的方案,只能不断根据实际网络结构和需求优化,比如 clash: 下载机场订阅的配置后根据 https://wiki.metacubex.one/config/手动修改需要修改的部分。其他的应该也都有 wiki 或者 readme
    linghan
        2
    linghan  
       3 天前
    我也想知道各位软路由科学上网咋配置的,我自己搭的用来也很难受,最近用 pve 装了个 op ,用的 Mihomo 做代理,发现油管正常,但是 tg 没法用
    saobilin
        3
    saobilin  
       3 天前
    @linghan passwall2 我感觉蛮好用的,tcp 全端口转发刚好不用配置 ssh 的代理服务器,我这边油管和 tg 都能用
    vegetablebird
        4
    vegetablebird  
       3 天前
    看得我口水流出来了,好强大啊这配置!
    COW
        5
    COW  
       3 天前 via Android
    太长不看,就问问电费多少
    WizardLeo
        6
    WizardLeo  
       3 天前
    结尾部分,建议用 singbox"或者 op 上的图形化界面 homeproxy",比 xray 系稳定。
    seki
        7
    seki  
       3 天前
    MG08 在这机箱里面噪音大吗,待机和工作分开来看
    linghan
        8
    linghan  
       3 天前 via Android
    @saobilin 好的,感谢,我试试看
    xuhuanzy
        9
    xuhuanzy  
       3 天前 via Android
    passwall2 吧,openclash 纯反人类
    devli
        10
    devli  
       3 天前 via iPhone
    我用的 singbox ,花了大概一周时间从头学习,然后自己手撸规则,把自己访问的网站都定制成了规则集,精确分流,目前用着很舒服。我也是 pve ,创建了 openwrt 的 lxc 容器做旁路由,因为是 x86 ,所以无脑 tun 模式,这个旁路由完全可以换成任意 linux 发行版。
    Misyo
        11
    Misyo  
       3 天前 via iPhone
    Mihomo proxy 可以了解一下,很好用
    morota
        12
    morota  
       3 天前
    用 singbox+passwall2
    最好是装个旁路由,iStoreOS 之类的,跑在旁路由上,然后需要科学的机器网关指到旁路由
    badgv
        13
    badgv  
       3 天前 via Android
    主路由 ros ,做对所有内网设备做 udp53 的 mangle 规则标记路由给旁路 openwrt ,op 使用 psw2 ,基于 geosite 和自己添加域名的 fakeip 模式,ros 路由 198.18 段 ip 给 op ,所有内网设备网关均为主路由 ros ,旁路 op 随时离线都丝毫不影响内网设备上网,op 是群晖 920+用虚拟机跑的,还有个 n1 的 docker op 做备用,群晖 op 掉线 ros 自动切换路由给 n1-op ,ipv6 是 ros 给全内网设备做的 SLAAC(禁止分配 ipv6 的 DNS),仅供参考
    badgv
        14
    badgv  
       3 天前 via Android   ❤️ 1
    @linghan tg 是用的 ip ,如果你代理软件支持开 socks5 代理,那给 tg 配置一下 socks5 代理就行了,pc 和手机端的 tg 都支持 socks5 设置
    lolizeppelin
        15
    lolizeppelin  
       3 天前
    都 All in boom 为什么不直接用 linux 还用什么软路由?
    sakuramanstein
        16
    sakuramanstein  
       3 天前 via Android
    这个 cpu 不是没有核显么
    awinds
        17
    awinds  
       3 天前
    用过 pve 装东西的痛苦,升级系统起来特别麻烦
    limitsy
        18
    limitsy  
       3 天前
    既然已经 PVE 了。为啥 TrueNAS 还选 Scale 不选 core ?
    ScotGu
        19
    ScotGu  
       3 天前
    PVE 套 TrueNAS Scale 就是为了 ZFS 么? PVE8.2 本身不是支持创建 ZFS 池嘛?
    sunnysab
        20
    sunnysab  
       3 天前
    我也是 安钛克 P101-S 。请问你的机箱背板走 SATA 线方便吗?怎么为感觉背板有点窄…
    sanquan
        21
    sanquan  
       3 天前 via iPhone
    @linghan tg 没有域名 你要把特殊的 ip 驾到规则里
    4NF
        22
    4NF  
       3 天前
    我是 J4125 ALL IN BOOM
    Thymolblue
        23
    Thymolblue  
       2 天前
    想问一下楼主这一套不含机械硬盘整机功耗是多少?
    目前我预想的方案是 B550+5700X ,然后查到整机待机功耗是六七十瓦,由于制程原因好像功耗下不去。现在正准备等明年的 B850+X9700 的方案。
    fionasit007
        24
    fionasit007  
       2 天前
    PVE 装虚拟机是不是电脑不能经常开关机啊,我是需要的时候再开机,然后在 pve 里转了个黑群晖,但是经常 pve 起不来,报硬盘什么的出错
    Adamdad
        25
    Adamdad  
    OP
       2 天前
    @MYDB 感谢,你说的对,没有一劳永逸的方法,那个东西永远在变,好在新的技术也一直在涌现出来。我从 vmess 的换到了 vless 之后目前可以正常用了,不知道能撑几天,但是我会花时间把新出现的都学一学。
    Adamdad
        26
    Adamdad  
    OP
       2 天前
    @vegetablebird 还好,哈哈,还算够用了,我也不需要很新的平台,老平台核心数和内存都够了,再加上 Z390 老板子,扩展硬件也够用了。
    Adamdad
        27
    Adamdad  
    OP
       2 天前
    @COW 没有功耗计,不知道,抱一丝
    Adamdad
        28
    Adamdad  
    OP
       2 天前
    @WizardLeo 感谢,最近一定学一下 singbox
    Adamdad
        29
    Adamdad  
    OP
       2 天前
    @seki 这一套放在餐桌旁边(光纤入户在这里),白天在客厅里听不到声音,只有夜深人静坐在餐桌旁才能听到。硬盘工作时坐在旁边,白天也能听到的。
    Adamdad
        30
    Adamdad  
    OP
       2 天前
    @xuhuanzy 确实没玩明白 openclash ,ssr+ 和 passwall2 感觉设计得还比较符合直觉
    Adamdad
        31
    Adamdad  
    OP
       2 天前
    @devli 谢谢,我也去学习一下 singbox
    Adamdad
        32
    Adamdad  
    OP
       2 天前
    @Misyo 感谢,我去学习一下
    Adamdad
        33
    Adamdad  
    OP
       2 天前
    @morota 感谢,必须学习一下 singbox !但是目前还没想弄旁路由,想用 x86 软路由搞定一切得了,目前运行好几周没呀问题。还有一个 arm 软路由,真 boom 了手动换上。
    Adamdad
        34
    Adamdad  
    OP
       2 天前
    @badgv 有点儿意思,ros 和 op 相比的优势是什么呢?
    Adamdad
        35
    Adamdad  
    OP
       2 天前
    @lolizeppelin 我不知道你说的用 Linux 做路由器设置起来有多便利,也不知道性能能差多少,但我觉得用已经成熟的软路由系统对我来说还是比较方便的,各种功能都有,也方便设置。
    Adamdad
        36
    Adamdad  
    OP
       2 天前
    @sakuramanstein 没有,我也不需要核显。我没有视频转码的需求,我也不太懂为啥下载下来的影视要转码,直接让播放设备解码不就得了。我也不需要异地远程观看家里的影视,回家舒舒服服地看不香吗。我的 Windows 也不需要输出视频,只需要能远程桌面就够了。唯一难受的就是前期被爱国者垃圾内存折磨了很久,各种重装主系统都需要拆换 CPU... 但是成功稳定运行之后,我确实不需要核显。
    Adamdad
        37
    Adamdad  
    OP
       2 天前
    @awinds 还好,装好折腾好后也没想过再升级了
    Adamdad
        38
    Adamdad  
    OP
       2 天前
    @limitsy 最新的 TrueNAS Scale 可以运行 Docker 。以及,我觉得 Scale 稳定性和性能估计已经够我用了,对我来说可能没必要搞 Core ,Scale 毕竟是 Linux ,啥都方便,据说 Core 的那个命令都有很多不同,更别提别的。我的备用 NAS 可以考虑上 Core
    Adamdad
        39
    Adamdad  
    OP
       2 天前
    @ScotGu 我知道 PVE 可以搞 ZFS ,我还知道 PVE 还能折腾 Docker 和 OpenWRT 呢,但是也没必要 PVE 承担全部,我需要 PVE 管虚拟机,这就够了,NAS 功能和 Docker 交给专业的 TrueNAS Scale ,路由交给 OpenWRT 虚拟机,我网卡也多,给它们一个个都直通了硬件网卡,这样谁崩了也不影响另一个
    Adamdad
        40
    Adamdad  
    OP
       2 天前
    @sunnysab 我觉得还行啊,反正就往里面挤就好了... 而且目前我只有 4 个硬盘
    Adamdad
        41
    Adamdad  
    OP
       2 天前
    @4NF nice, 香香的
    Adamdad
        42
    Adamdad  
    OP
       2 天前
    @Thymolblue 我没有功耗计,而且也佛系了懒得测... 我这套估计功耗不会太低,但至少我想实现的功能都有了,也没有说有任何一个非必需的又非常耗电的部分,我也满意了。人生苦短,我选择舍弃一点点。太追求完美还是比较难做到的,我这套我都在脑子里想了一年了,动手的时候也还是遇到了各种问题,好在都及时解决了。比如那个板载万兆网卡我以为就又省钱又省电,还省 pcie ,我还以为虚拟机之间搞软内网再加上这一个万兆网卡就全都够了。结果啥都没省,我现在把它直通给 Windows 10 都会出各种问题。比如那个爱国者内存条,是挺便宜的,但是折腾了我十天。谁家好人会想到问题出在内存条上呀,都是默认京东自营买回来没问题的。32GB 单条的性价比低很多,总共可能多花了一千,但是也还好了。如果一开始有人能告诉我我多花这一千能省十天的折腾,我绝对选择多花这一千。也不白花,总内存还大了呢。
    badgv
        43
    badgv  
       2 天前 via Android
    @Adamdad ros 流量直观,配置策略路由方便,只从网络防火墙角度管理来看就是它的优势,还有独有的 pcc 多线分流负载,这点是吊打 op 的各种多线插件(爱快都不如)
    4NF
        44
    4NF  
       1 天前
    @Adamdad #41 香爆了,除了硬盘拓展不太方便
    Adamdad
        45
    Adamdad  
    OP
       1 天前
    @fionasit007 一般来说都是不关机的。起不来我建议仔细研究一下报错
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3734 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 05:04 · PVG 13:04 · LAX 21:04 · JFK 00:04
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.