V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xiaooloong
V2EX  ›  硬件

用了三年的 AllinBoom 灵车分享

  •  
  •   xiaooloong · 2023-08-01 10:58:22 +08:00 · 1752 次点击
    这是一个创建于 480 天前的主题,其中的信息可能已经有所发展或是发生改变。

    主机是华擎的 Deskmini 310: https://www.asrock.com/nettop/Intel/Deskmini%20310%20Series/

    外置电源的小主机,当年买来装 macOS 用的,闲置后就塞到电视机后面开始了 AllinBoom 灵车之旅。

    • H310 的芯片组

    • 支持 8 代 9 代的台式机 CPU ,标称支持 TDP 65 瓦以内的。

    • 2 个 DDR4 笔记本内存插槽,最大 64GiB 2666MHz

    • 1 个 m.2 E key 插槽,有 1 lane PCIe 3.0 和 usb2.0 的总线,也支持 CNVi 卡

    • 1 个 m.2 M key 插槽,4 lane PCIe 3.0 ,网上见过有转接出来接 A 卡装黑苹果的,很震撼

    • 2 个 2.5 寸 9mm SATA 硬盘位

    • 1 个 TF 卡槽

    拆机图: https://www.chiphell.com/article-21199-1.html

    三块硬盘分别是:

    1. 安装 Proxmox VE 的 浦科特 M5P 128G 。人生的第一块 SSD ,电脑都走了,这块 MLC 的 SSD 还在。

    2. 直通给虚拟机的 ST2000LM003 ,2.5 寸 9 毫米垂直盘最后的荣光,2T 够用水平。

    3. 直通给虚拟机的 Intel 傲腾 16G ,给上面那块机械盘做加速。

    128G 的硬盘开了 3 个虚拟机的系统盘,各 32G:

    pfsense:主网关。pfsense 作为防火墙的各种功能都挺全的。

    ubuntu:上面的两块硬盘直通到这个虚拟机做数据盘了,16G 的傲腾用 lvm-cache 给 2T 机械做缓存。开了个下载器和 samba 。

    openwrt:最近才新开的虚拟机,用官方 22.03 手搓的第二网关,操作起来比想象中简单,只要定制一下接口配置和防火墙 zone 的配置就可以正常转发了。

    说明:

    1. 当年为了编译性能上了 i7-8700 ,实际上没必要,FPU 烤机因为供电不足会降频。上 i5 会更合适,或者不少老哥上带 T 的低功耗 U 。

    2. 家里需要走第二网关的设备,无论是手动改网关地址,还是在主网关的 dhcp server 上设置针对特定设备下发第二网关 ip 都可以。

    3. lvm-cache 用的这篇文章的方法: https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/6/html/logical_volume_manager_administration/lvm_cache_volume_creation

    4. 因为机械盘是走的 SATA 直通,所以虚拟机里看不到真实设备和 S.M.A.R.T.,还好 PVE 里能看到。

    5. 主机毕竟只有一个网卡,所以找了一个支持 802.1q 的交换机,配合 PVE 的 vlan aware 网桥通给虚拟机、或者直接在 pfsense 虚拟机里做 802.1q 都行。毕竟只给 vlan 2 加了 tag 用来走 WAN ,无 tag 的都算 LAN 的帧了。

    遇到的问题:

    1. 主板网卡有毒。驱动经常动不动就 hang 然后接口重启,现象就是网络卡住二十秒然后恢复。网上查询的结果是系统从 ubuntu 到 debian ,设备从 Intel 的 NUC 到台式芯片组都会出现这个问题。最后在 redhat 的一个网站上看到的说法是,南桥 pch 的网卡的硬件卸载性还停留在几十年前,所以一定要关闭 offload 才行:
    iface eno1 inet manual
            post-up /sbin/ethtool -K eno1 gso off gro off tso off tx off rx off rxvlan off txvlan off sg off
    

    这种情况大概在 8 代和前后几代的 U ,对应的芯片组赠送网卡都可能出现这个情况。

    1. 一开始用的是最便宜的 802.1q 交换机 SG105 Pro ,最后发现这个交换机太玩具了,带 tag 的帧转发很不靠谱,经常能看到在 vlan 里乱窜的帧。但是家用感知不强,勉强正常工作,一开始就没管。

    2. 最终让我放弃 802.1q 的还是 MTU/MSS 问题。部分地区已经换 ipoe 宽带认证,间接解决了 pppoe 8 字节的损耗问题了。802.1q 的 4 字节,再加上玩具交换机没办法调节参数,最后索性插了一个 USB 网卡充当 WAN 接口了。ethtool 看了下,USB 网卡默认没有各种 offload 。

    3. 主板 bios 里面设置了通电自启的。但去年有一次家里停电,来电后网络迟迟没有恢复。接上屏幕一看,因为主板纽扣电池没电了,导致断电后 bios 重置,开机就卡在重置提示这里了,必须要键盘操作才能继续。这主板的电池是笔记本的那种带塑料封皮和插头的,买来的电池刚好正负极相反,好在可以自己调线序。

    以后的想法:

    以后还是换个便宜 u 专做 nas 吧。tf 卡装个 nas 系统,双 2.5 寸做个 raidz1 ,m.2 盘继续做缓存。

    那么问题来了,专门的 x86 软路由哪家强

    第 1 条附言  ·  2023-08-01 13:39:45 +08:00
    关于有线网卡的问题 I219-V e1000e hardware hang https://forum.proxmox.com/threads/intel-nuc-10-i219-v-e1000e-hardware-hang.106294/
    第 2 条附言  ·  2023-08-08 10:21:30 +08:00
    关于 MTU 问题 /t/800024
    3 条回复    2023-08-01 20:31:37 +08:00
    sadfQED2
        1
    sadfQED2  
       2023-08-01 11:02:19 +08:00 via Android   ❤️ 1
    没有喜闻乐见的 boom 环节,差评
    Gunslinger
        2
    Gunslinger  
       2023-08-01 11:29:55 +08:00   ❤️ 1
    没 Boom ,被开除 AllInBoom 籍
    RatioPattern
        3
    RatioPattern  
       2023-08-01 20:31:37 +08:00
    LVM cache 眼前一亮,而且是配合傲腾,专业!
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2839 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 07:02 · PVG 15:02 · LAX 23:02 · JFK 02:02
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.