V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  mkdirmushroom  ›  全部回复第 10 页 / 共 12 页
回复总数  238
1 ... 2  3  4  5  6  7  8  9  10  11 ... 12  
218 天前
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@lchynn 买了啊,目前是我的主力家庭服务器,ollama 7b 推理肯定没问题啊,大部分电脑都随便跑的,主要还是看内存带宽的。我还试了 qwen 的 72B 4bit ,大概 2 ,3Token/s 吧。

我目前是 PVE 分了一个 32GB 内存的 ubuntu 跑 ollama ,基本上都用的 14B ,大概能有 10 几 token/s 吧。
245 天前
回复了 keyfunc 创建的主题 NAS 4 块 nvme 的 SSD 怎么组阵列
大佬既然是小主机全闪的话,万兆网口是怎么解决的?
257 天前
回复了 villivateur 创建的主题 云计算 oracle 东京网络是不是出问题了?
甲骨文真正诠释了免费的就是最贵的,我 3 月初好不容易注册成功了,也升级了,不到半个月被封了,那种过山车的体验很不爽。
261 天前
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@uniqueman 看你内存大小了,内存大一点带宽高一点,理论上 72B 都能跑,不过速度比较慢。
我注册了十几天的升级号今天也被扬了
@sampeng 谢谢回复,因为手里正好有两根闲置的 2T 的 SSD ,不想额外再买 HDD 了。加上后面要买个小主机当作家庭服务器,NAS 系统也是搭建在其中的。另外额外买了个 AP 是因为卧室的 WIFI 信号有点差,小米的这个没有天线放在卧室也不是很碍事就买了。发这个贴的目的是想问问大家基于这些设备有没有更好的搭配方式。
@1018ji 我的存储容量需求比较低,就存存照片视频之类的,所以想着用现有的 2 根 2T 的 m.2 SSD 搭配小主机组个黑群晖就完事了~
@1018ji 小米的已经买了,买了小米的是因为卧室的 wifi 信号太差了。
大佬,现在固态涨成这样,还有回落的可能嘛
升级后应该不用保活吧
282 天前
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@wxd21020 买了 gem12 了,8845 主机,准系统 2699 ,两个 m.2 ,一个 oculink ,两个 usb4 ,2 个 2.5G 网口,带副屏幕和指纹。感觉性价比蛮高,就是到手会有点晚,要 4 月初
289 天前
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
292 天前
回复了 Chengyaojin 创建的主题 NAS 请教 nas 硬盘的选择
@Chengyaojin 大佬,搜了下淘宝店铺,南京梵多电子店铺里没什么东西,是梵多存储这个店铺吗
292 天前
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@wxd21020 准备等的天钡的 Gem12 了( 8845hs ),还没出,大概 3 月初上架,准系统价格估计在 2600 左右。
293 天前
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@ShadowPower 还有 Intel Core Ultra 5 125H ,它的定位和 8845hs 差不多,但是稍微贵一点。
刚刚看了些评测,在双通道 DDR5 5600 32GB ,PCIE4.0 SSD 2TB 环境下:
Ultra5 的内存带宽的 CPU 读写及延迟分别是 71058 MB/s 、70765 MB/s 、150.4ns
8845hs 则为 61887 MB/S 、86688 MB/s 、90.5 ns
AMD 的写入和延迟好一点,Intel 的读取高了大概 10GB/s
293 天前
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@ShadowPower 感谢大佬的解惑,感觉 8845hs 这个马甲 U 应该也差不多。那如果是小主机的话大佬推荐哪个 U 呢,目前在观望的小主机的 U 有 i9 13900h 、i9 12900h 、i5 12450h 还有 AMD 家的 8845hs ,价格应该是依次递减的,不过巨硬家的内存频率最多到 5200 。
293 天前
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@ShadowPower 大佬还是有点疑问,我看了下 AMD 新的移动端处理器 8845hs 的介绍,双通道 DDR5 5600 理论上是有大约 90GB/s 的带宽的,是芯片内部做了限制吗?
293 天前
回复了 wxd21020 创建的主题 Local LLM 配置小主机跑大模型
@ShadowPower 还好大佬说了 AMD 平台的内存带宽限制,我也准备入手小主机跑大模型,本来想买 8845hs 的,看到内存带宽限制劝退了。
@LY0528 我的也是首年,而且协议上也是写的首年,次年恢复到 70 ,而且我也是满 5 年了,请问老哥是怎么联系的客服?
@imyanfa
我和老婆都卖了 15pm ,都各自开了免费的 2TB 的 iCloud ,亏了 3 个月,按理说可以先用我的,然后在我老婆 90 天到期之前使用她的共享,这样就可以使用 9 个月了
1 ... 2  3  4  5  6  7  8  9  10  11 ... 12  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   863 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 25ms · UTC 21:12 · PVG 05:12 · LAX 13:12 · JFK 16:12
Developed with CodeLauncher
♥ Do have faith in what you're doing.