迫于出国,又对虚拟化有需求,想要尽量低成本地满足需求。可以容忍一定的 outage 。
这几天已经发过两个帖子了。不够还有一些想法想发出来,跟大家探讨一下。 https://www.v2ex.com/t/855437
各个方面的需求都有,但是鱼和熊掌不可能兼得。
前几天看到一个劝退 ITX 的帖子,我现在才感受到大家肺腑之言的真诚。真的是装机时只想着小而美,到最后都会后悔。
我现在的设备是 i9-12900K+64G-DDR4+ITX-Z690+3.5HDD*2+Nvidia-P4
CPU 是够的。但是现在 RAM 已经逐渐捉襟见肘了。硬盘目前也够,但是也许之后还会需要加新的盘。而这个机箱已经塞满了,没有任何的可升级空间了。
这个机器是肯定带不过去的,太重了,在那边居住环境也相对不稳定。
迫于租用 Bare Metal 的高昂价格,想要把这台 ESXi 放在汕头父母家或者山西老家远程访问。但同时也还在纠结是不是要重新装一台服务器,可以在接下来的三四年里很奢侈地获取虚拟化资源。
即使是低配的 8 核 64G 在 Equinix 上,3 年合约总价折合人民币大约要 10 万。
而如果搞一个二手 T630 的话,大概 2 万块不到就可以获得 32 核 E5v4 (虽然这个 32 核总的多核算力依然跟 16 核的 12900K 不相上下),768G-ECC-RAM ,iDRAC ,8HDD 硬盘架,NPCIe 的强大扩展性。
当前的 i9-12900K ESXi 设备有诸多不足,但是有一个很大的优势就是水冷散热,满载也足够安静。爸妈晚上喜欢开窗通风睡觉,这样不会吵到他们。而能放在汕头还有一个优势就是汕头可以用电信宽带,本身汕头也是海缆登陆站,用我在美国的 CN2-GIA 节点中转流量应该可以优化一下访问体验。
如果设备放在山西,就完全不怕吵了。而山西老家有一间房子只能联通宽带,目前上行带宽 30Mb ,提速上行到 100Mb 需要 90 块一个月。四舍五入一年 1000.另一间房子可以用电信,但即使是 1000Mb 下行套餐,上行也是 30Mb 。而且不可提速。
一边是网络好,但是需要静音,一边是可以吵,但是网络会差。
或者不买 T630 准系统,自己买主板机箱内存组装一个水冷的 E5v4 方案。可以实现良好的网络访问以及安静的运行体验。
但是这样就没办法用 Dell 的 iDRAC 了,通用版的 IPMI 不知道会不会比戴尔的功能上或者体验上稍差一些。有没有熟悉的朋友来说说这两个水平差多少。同时没有了热插拔硬盘架,也丧失了买硬盘到家让爸妈帮忙安装的可行性。再有就是 CPU ,主板,内存,电源,各个部件之间不匹配或者出错的可能性也大大增加。我到现在都还没搞清楚服务器的 UDIMM 和 RDIMM 还是什么的内存区别在哪里。
并且自己另外组装的水冷 E5 这个大概率内存只能加到 256G 了。虽说短时间内也够了,但是都已经折腾起来了,稍微加 1000 刀可以把资源提升到 Equinix 上三年合约五万刀的配置水平,又觉得不甘心。虽然二手服务器外加无运维人员本身就代表了没那么稳定,但依然还是觉得 T630 准系统应该是要比自己一件一件装起来的要稳定些的。
希望大家畅所欲言,建议或者不建议我做什么都可以来说说。
有任何能够以不离谱的价格实现 静音+不弱的 CPU+奢侈的 RAM 空间 的方案,也可以推荐推荐。
在这里现谢谢大家了。如果有帮助特别大的朋友,会发个小红包以示感谢。
1
WuSiYu 2022-05-31 03:10:15 +08:00
自己组也可以用像超微、华擎的服务器主板,有 IPMI 但估计没 iLO 、idrac 这种好使,具体可以找找看有没有人做过这方面的视频。
另外如果要跑编译(比如编译个 kernel 或者 gcc )的话,单核性能是很重要的,因为有很多时候会卡在一个单线程的活动上,或者在等最后几个耗时更长的任务完成,所以不建议用主频太低或者太老的 CPU 。 |
2
liuhan907 2022-05-31 03:13:57 +08:00 via Android
这里诸多问题要看最终你到底需要多少 CPU/内存和 PCIE 资源。就我个人看法而言,现在这个时间点双路的拆机 epyc7002 系列是挺不错的。虽然有些看法觉得 AMD 的兼容性有些问题,但是我个人使用差不多一年的 zen3 来看,没有遇到任何兼容问题。当然我没有什么古董软件需求,PVE 最新版本对 AMD 虚拟化支持也还可以了。如果你的预算不是那么捉襟见肘,我推荐买塔式机箱然后买超微的服务器主板,双路或者单路看你的需求。最后去黄鱼买你需要的那么多的 RECC 3200 的内存就好。最大上 TB 的内存支持和接近 100 的 pcie4.0 ,我觉得无论如何都是足够个人的任何用途了。
|
3
totoro625 2022-05-31 09:15:25 +08:00
有点小想法:
1 、水冷散热可能不是优点,顶多是噪音方面的优点,高端的水冷往往逃不过漏水 2 、不考虑移动的 ITX 不如全塔,尤其是你不在身边,吃灰问题会很严重,不知道你的机箱是哪个 3 、CN2-GIA 节点中转流量,最好做一下节点被墙的预案 4 、汕头父母家有没有杂物间什么的,空一个小房间给你,买一些录音室吸音棉,弄个机柜,做好隔音啥的 5 、老家的话基本没啥人在家,网络用的人也少,弄个服务器在家里,被上门 /被周边居民举报 就比较危险了,父母身边可能更好 6 、找个朋友帮忙运维管理 7 、关于你上一个贴子的:ESXi 主系统崩溃的时候要用新镜像抢救机器,,,我觉得一个稳定的系统能不更新还是别更新了,尤其是你人还不在身边,少操作那些涉及系统、网络层面的东西。 能运行就别碰,代码能跑就不要动,重启能解决的问题不要扩大到重装系统,重装系统能解决的不要扩大到升级新系统 |
4
kenneth104 2022-05-31 10:47:52 +08:00
先来帮你列出疑问,再解答,从事 IDC 行业 7 年左右
Q1 ,放在有噪音要求的父母家汕头电信线路,还是无噪音要求的老家山西联通? A1 ,放在电信线路上,主要从访问角度考虑,噪音问题需要解决,例如使用机柜并贴上隔音棉,机柜风扇全面进风正压防尘并添加防尘网,机柜风扇可能需要你再下一点功夫研究,或者你 1 年左右回来 1 次就不用研究了 Q2 ,如果需要满足噪音要求,可以自己配一台水冷+组装机? A2 ,不要自己弄,Dell 作为一哥,是可以全面碾压组装机的,例如你已知的 idrac 好用,可以用双电源,它也可以调低风扇转速,调高出风温度阈值,达到静音效果。。玩家级水冷不适合 24x7 运行。 Q3 ,UDIMM 和 RDIMM 什么区别? A3 ,服务器主板上的都是 RDIMM ,可以叫 reg ,可以叫 ecc ,不一一细说,搜索引擎很好了解。 Q4 ,戴尔的 idrac 和其他 IPMI 对比,如何? A4 ,戴尔完胜,简要使用区别如下 一,戴尔的暴露公网,印象中没有被扫描攻击导致服务不可用,其他的会 二,戴尔的操作习惯,速度,固件更新,都很好,其他家我就没更新过 Tips ,最靠近我的机房是公司的深圳机房,有需要托管也可以联系 v 幺肆柒捌叁零捌零叁 |
5
MrLonely OP @kenneth104 兄弟,我加你 v 了。有空了记得通过一下。
|
6
vhus 2022-06-07 20:29:46 +08:00
好像你的需求说的不够明确,胡乱回几句。
1.对 cpu 内存和硬盘有要求的情况下,2 手服务器是性价比优选。 2.如果不是特别必要尽量不要选塔式,同样配置机架式更便宜,市场占有率高,后续维修便宜。 3.对于噪音和耗电及散热我曾经发贴说过使用经验,可以给你参考。 4.有条件就吧它做成“空调室外机”,做好防虫防水防尘,用 Idrac 远程控制开关机。 5.选电信线路是正确的,联通实测到国外是差些。 6.同样的配置买云主机那价格心会流血。 7.托管也要选线路,不是哪里的机房到国外都行,得测,不做网站什么的就别考虑了,有钱换成硬件不香吗。 8.自己组装的想法就算了吧,离开 ilo 、idrac 就这一项就得烦死你,开机就不敢关,关了就得找人去戳一下。 参考贴: https://www.v2ex.com/t/629787?p=3#reply219 |