V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
suqiuluck
V2EX  ›  Windows

AI 需求,主机配置推荐, 2024 年准备 all in AI

  •  3
     
  •   suqiuluck · 247 天前 · 18589 次点击
    这是一个创建于 247 天前的主题,其中的信息可能已经有所发展或是发生改变。

    网上看到这套配置,值得入吗大佬们,你们都是啥配置的,显卡值得上 4090 吗? CPU:Intel 13400F 主板:华硕 B660M 重炮手 显卡:七彩虹战斧 RTX4060Ti 16GB 内存:光威 3200Hz 16G×2 固态:三星 990PRO 1TB 电源:酷冷 GX650 散热器:利民 PA120 SE 机箱:先马鲁班 1

    130 条回复    2024-03-11 10:19:22 +08:00
    1  2  
    fannas
        101
    fannas  
       246 天前 via iPhone
    直接买云服务比较划算
    Bluecoda
        102
    Bluecoda  
       246 天前
    这有啥用?外面租个有专业显卡的机器不香?更不用说现在还有 groq ?你那个破 4060 ,还一张,能干啥?
    Mistral 7B 跑在 groq ~480 tokens/s $0.27(Price per 1M Tokens)的价格,不比你这小机器香?

    玩游戏就好好玩游戏好了
    ohuo
        103
    ohuo  
       246 天前
    @suqiuluck 目前用的 2080TI SD 一般的模型都没啥问题,一般 5S 一张图吧。准备再去魔改一下,应该可以玩常见的所有模型吧
    shockingFly
        104
    shockingFly  
       246 天前
    就这,你 all in AI ?
    PeneceaQwQ
        105
    PeneceaQwQ  
       246 天前   ❤️ 1
    虽然但是,看你这个描述就是图一乐的需求
    纯图一乐版:p102 ,加显存版,三五百
    进阶图一乐版:2080ti 魔改 22g 显存,记得别买涡轮卡的,猛禽、七彩虹、微星都行,两三千
    进阶 pro 版:4060Ti ,16g 显存
    富哥图一乐版:4090 ,24g 显存,一两万


    SD 的实测速度,一个插件测的,各用户传的:
    https://vladmandic.github.io/sd-extension-system-info/pages/benchmark.html
    PeneceaQwQ
        106
    PeneceaQwQ  
       246 天前
    @chesha1 #89 autodl 得避开毕业季,最近一水做毕设的,天天占满了,偶尔才能蹲到
    zhangdp
        107
    zhangdp  
       246 天前
    All in ???这配置玩游戏都算是入门的。。
    Hansee
        108
    Hansee  
       246 天前 via Android   ❤️ 1
    4060 肯定是不够的,我现在 4090 都不够。
    Cpu 也太低了,至少 i7 吧。
    硬盘也不够,模型都很大。我本地模型七七八八都快 2T 了。
    内存也不够。
    你这个是配来打游戏的吧。
    logic159
        109
    logic159  
       246 天前
    @esile #94 我的不是因为运行过程中高温炸的,是为了清灰搬机箱的时候放地上就炸了,目前已经换成了防尘网
    suqiuluck
        110
    suqiuluck  
    OP
       246 天前
    @Hansee #108 富哥,你电脑配置是不是 2w 了
    suqiuluck
        111
    suqiuluck  
    OP
       246 天前
    @zhangdp #107
    suqiuluck
        112
    suqiuluck  
    OP
       246 天前
    @PeneceaQwQ #105 这个测速不错,可以参考下
    suqiuluck
        113
    suqiuluck  
    OP
       246 天前
    @shockingFly #104 图一乐
    suqiuluck
        114
    suqiuluck  
    OP
       246 天前
    @xjhou00007 #98 get 了
    shm7
        115
    shm7  
       246 天前
    这配置 乍一看 我还以为是 4 年前的帖子...
    73cn4XL4Ufv3V65L
        116
    73cn4XL4Ufv3V65L  
       246 天前
    直接买服务器吧
    MadDoggy
        117
    MadDoggy  
       246 天前
    借楼问下 4060ti16g 有啥推荐的牌子吗
    c4fun
        118
    c4fun  
       246 天前
    这配置只能说浅尝辄止,离 All In 差远了。

    4090 卡主表示单卡训 LoRA 都吃力,现在一直在想两张卡,一张训练一张推理。
    xieren58
        119
    xieren58  
       246 天前
    没个几十万, 玩不起...
    anjingdexiaocai
        120
    anjingdexiaocai  
       246 天前 via Android
    魔改 2080ti 大显存貌似可以
    Betsy
        121
    Betsy  
       246 天前 via iPhone
    借楼问下,哪个大模型可以在个人 pc 上玩一下,主要想体验下完整的大模型训练过程。
    hepin1989
        122
    hepin1989  
       246 天前
    你好,不是应该用 MacStudio 顶配?据说跑 SD 起来更快。
    momo1pm
        123
    momo1pm  
       246 天前 via Android
    你这打游戏醒置,或者说打游戏都不够顶配
    momo1pm
        124
    momo1pm  
       246 天前 via Android
    @suqiuluck 打游戏顶配都不止两万
    gaozizhong
        125
    gaozizhong  
       246 天前   ❤️ 1
    ALL IN AI 不一定要先搞装备,切记差生文具多
    crackhopper
        126
    crackhopper  
       246 天前
    我个人预判还能凑合跑一些图(仅仅做一些推断),但应该比较慢。

    4070 ti super 我用着的话还可以,不过那个机器只用来跑图,不做别的。4090 ,我也入手了,4090 可以勉强做一些 LoRA 微调。主要点:机箱弄大点,方便后续添东西。电源功率高点,免得负载上不去。散热看情况弄,差了自然也是有问题的,不过那个主要看 CPU 负载。另外,GPU 卡都这么贵了,主板 CPU 内存也得上来吧,要不然 IO 方面的瓶颈或者 CPU 不够导致性能发挥不足,岂不是浪费。总之,照着 2 万以上来配电脑可能更加好一些,别想着太便宜了。(如果 4090 ,照着 2.5 万以上配吧)

    至于全量训练啥的,就别想了,不是个人玩得起的,至少 8 卡吧。
    unbridle
        127
    unbridle  
       246 天前 via iPhone
    玩游戏可以 ddr4 ,跑算法最好还是上 ddr5
    lunafreya
        128
    lunafreya  
       246 天前 via iPhone
    @Betsy 玩 inference 不难,training 难。
    我从零训练过 DiT, 用了 64 个 A100 大概 0.27s 传一次梯度,20000 步能出能用的图,但是 1M 分辨率的图像最好还是来个 1M 步,整个流程 train 一次如果用 aws 大概是 40 万刀。这还没算 VQGAN encoder/decoder 的训练开销
    kneo
        129
    kneo  
       246 天前 via Android
    all in ai ,然后了,买个 4060 画图?想玩玩画图就画图呗,别扯什么 all in 了
    sampeng
        130
    sampeng  
       244 天前
    想玩游戏你就直说。。。
    1  2  
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2606 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 02:52 · PVG 10:52 · LAX 18:52 · JFK 21:52
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.