V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
jianghu52
V2EX  ›  程序员

预算 1w 左右,求一个可以本地搭建 ai 的配置

  •  
  •   jianghu52 · 98 天前 · 1753 次点击
    这是一个创建于 98 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在用的台式机是 17 年配的,连 win11 都生不上去. 现在想换代了,想配一台电脑,可以本地搭建 ai. 要求如下: 1.只台式机本身,音响,显示器不需要 2.不需要考虑未来扩展,一个配置 5 年能用就行. 3.本地 ai 不仅要能跑,还需要能用.所以显卡最低不能少于 8g.

    另外,还想请教各位,我现在在使用飞书的会议的字幕功能,以及生成总结功能,非常好用. 但是一个月 120 比较贵.如果我配了本地 ai 的话,要实现飞书这样的功能,可能么.

    12 条回复    2024-08-19 13:16:30 +08:00
    gaobh
        1
    gaobh  
       98 天前 via iPhone   ❤️ 1
    至少一张 4090 满血版,其他主板啥的自己看着配,能带起来就行
    gaobh
        2
    gaobh  
       98 天前 via iPhone   ❤️ 1
    配完只能说能用,但跑起来不好用,要好用组个 4 ,5 张试试
    RicardoY
        3
    RicardoY  
       98 天前   ❤️ 1
    二手 mac studio ,用来跑大模型性价比极高的选择
    RicardoY
        4
    RicardoY  
       98 天前   ❤️ 1
    64G 内存的版本可以本地跑 70b 的模型
    GeekGao
        5
    GeekGao  
       98 天前   ❤️ 1
    1w 不够,再往上一些。 个人使用,如果使用频率不高的话,本地搭建的成本太高了,还要考虑电费、噪音。
    lookStupiToForce
        6
    lookStupiToForce  
       98 天前   ❤️ 4
    歪路子两个:
    1.如果只求跑模型,作图或者 LLM ,有些便宜到可疑的专跑模型的 GPU 选择
    不求模型的推理速度快,只求能装进 vram 而不是 load 到内存让 CPU 去跑
    可选 GPU:
    nvidia a2000 12G ,新卡软妹币 3500 左右
    nvidia tesla m40/m60/p40...软妹币 500~1500 上下

    除了 a2000 丽台还在产,后面的卡市场上鱼龙混杂,基本只能买到拆机卡或者矿卡,而且注意它们还没有视频输出口( a2000 有 minidp 口)

    这些基本只能跑 ai ,不能拿来玩游戏,tesla 卡你还得备上大电源,再拿着专门的风扇/空调对着吹来压温度
    反正价格低带来的是往死里折腾

    2. 好 U 配大内存( 64G+ ram ),配张单卡 4060/4070ti 够用就行
    因为就算是 llama3.1 70b 这种 39 个 G 的大模型,不降模型精度,单卡就算是 4090 照样不够用,堪称 a100 (软妹币 8W+)之下众生平等(但如果要双显卡,就还是上面 1.的话题了)
    而模型一旦 load 一部分到内存,推理时 GPU 的闲置时间百分比直线上升,瓶颈都跑到 CPU 去了。
    我之前测试过,llama3.1 70b 原始精度,在 64GB ddr4 3200MHz 内存加持下,cpu 11700K 可以跑出每秒 1.1 个左右的 token ,将就凑合玩儿。所以如果 CPU 好一些,甚至你上双 u 主板/服务器主板让更多的 u 一起跑,那么这种 70b 乃至更大一点的模型也能用( 3+token/s )。关键就是,内存要管够
    Admstor
        7
    Admstor  
       98 天前
    二手苹果 M 系列芯片,不开玩笑
    mmdsun
        8
    mmdsun  
       97 天前 via iPhone
    双显卡机箱,插两张显卡。 大内存。
    JensenQian
        9
    JensenQian  
       97 天前
    本地生成字幕的话挺简单的
    whisper ,我 6800H 的核显都能用
    总结的话你丢给 chatgpt 总结不就好了,反正都是文字
    jianghu52
        10
    jianghu52  
    OP
       97 天前
    @JensenQian 我之前也用过 whisper,我只会下载音频下来,然后再传上去.而且不能太大.要分割视频.
    据说有本地版的,但是只是提供 api.外面的壳子还是要自己来.而且还是有大小限制.感觉不是很实用.
    JensenQian
        11
    JensenQian  
       97 天前
    @jianghu52 #10 https://github.com/Const-me/Whisper
    这个
    用黄老板的显卡超级快的
    hiceo
        12
    hiceo  
       97 天前
    可以参考下这个文章,由多个 mac mini 组成的配置
    https://www.53ai.com/news/LargeLanguageModel/2024070296570.html
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2773 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 06:21 · PVG 14:21 · LAX 22:21 · JFK 01:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.