现在用的台式机是 17 年配的,连 win11 都生不上去. 现在想换代了,想配一台电脑,可以本地搭建 ai. 要求如下: 1.只台式机本身,音响,显示器不需要 2.不需要考虑未来扩展,一个配置 5 年能用就行. 3.本地 ai 不仅要能跑,还需要能用.所以显卡最低不能少于 8g.
另外,还想请教各位,我现在在使用飞书的会议的字幕功能,以及生成总结功能,非常好用. 但是一个月 120 比较贵.如果我配了本地 ai 的话,要实现飞书这样的功能,可能么.
1
gaobh 98 天前 via iPhone 1
至少一张 4090 满血版,其他主板啥的自己看着配,能带起来就行
|
2
gaobh 98 天前 via iPhone 1
配完只能说能用,但跑起来不好用,要好用组个 4 ,5 张试试
|
3
RicardoY 98 天前 1
二手 mac studio ,用来跑大模型性价比极高的选择
|
4
RicardoY 98 天前 1
64G 内存的版本可以本地跑 70b 的模型
|
5
GeekGao 98 天前 1
1w 不够,再往上一些。 个人使用,如果使用频率不高的话,本地搭建的成本太高了,还要考虑电费、噪音。
|
6
lookStupiToForce 98 天前 4
歪路子两个:
1.如果只求跑模型,作图或者 LLM ,有些便宜到可疑的专跑模型的 GPU 选择 不求模型的推理速度快,只求能装进 vram 而不是 load 到内存让 CPU 去跑 可选 GPU: nvidia a2000 12G ,新卡软妹币 3500 左右 nvidia tesla m40/m60/p40...软妹币 500~1500 上下 除了 a2000 丽台还在产,后面的卡市场上鱼龙混杂,基本只能买到拆机卡或者矿卡,而且注意它们还没有视频输出口( a2000 有 minidp 口) 这些基本只能跑 ai ,不能拿来玩游戏,tesla 卡你还得备上大电源,再拿着专门的风扇/空调对着吹来压温度 反正价格低带来的是往死里折腾 2. 好 U 配大内存( 64G+ ram ),配张单卡 4060/4070ti 够用就行 因为就算是 llama3.1 70b 这种 39 个 G 的大模型,不降模型精度,单卡就算是 4090 照样不够用,堪称 a100 (软妹币 8W+)之下众生平等(但如果要双显卡,就还是上面 1.的话题了) 而模型一旦 load 一部分到内存,推理时 GPU 的闲置时间百分比直线上升,瓶颈都跑到 CPU 去了。 我之前测试过,llama3.1 70b 原始精度,在 64GB ddr4 3200MHz 内存加持下,cpu 11700K 可以跑出每秒 1.1 个左右的 token ,将就凑合玩儿。所以如果 CPU 好一些,甚至你上双 u 主板/服务器主板让更多的 u 一起跑,那么这种 70b 乃至更大一点的模型也能用( 3+token/s )。关键就是,内存要管够 |
7
Admstor 98 天前
二手苹果 M 系列芯片,不开玩笑
|
8
mmdsun 97 天前 via iPhone
双显卡机箱,插两张显卡。 大内存。
|
9
JensenQian 97 天前
本地生成字幕的话挺简单的
whisper ,我 6800H 的核显都能用 总结的话你丢给 chatgpt 总结不就好了,反正都是文字 |
10
jianghu52 OP @JensenQian 我之前也用过 whisper,我只会下载音频下来,然后再传上去.而且不能太大.要分割视频.
据说有本地版的,但是只是提供 api.外面的壳子还是要自己来.而且还是有大小限制.感觉不是很实用. |
11
JensenQian 97 天前
|
12
hiceo 97 天前
可以参考下这个文章,由多个 mac mini 组成的配置
https://www.53ai.com/news/LargeLanguageModel/2024070296570.html |