V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
yifangtongxing28
V2EX  ›  Local LLM

个人玩 ai,显卡最低起步是 5080 嘛?

  •  
  •   yifangtongxing28 · 1 天前 · 4334 次点击
    最近显卡估计要涨一波,囤了一张 6299 的丐版 5070ti 16g


    不知道个人玩 ai 起步的显卡是什么型号,比如生成图,生成视频的要求应该不一样吧?


    不知道有没有了解的 v 友解答下呢?
    50 条回复    2026-01-22 18:36:35 +08:00
    Solix
        1
    Solix  
       1 天前
    只要显存大,2080Ti 也可以。
    z-image 我的 8G 卡都行
    Solix
        2
    Solix  
       1 天前
    @Solix #1 忘了说量化模型
    yifangtongxing28
        3
    yifangtongxing28  
    OP
       1 天前
    @Solix 这位 v 友也搞量化交易嘛?
    gazi
        4
    gazi  
       1 天前
    和使用的模型也有关系,比如千问模型生成图 8G 都能跑,图生视频 16G 应该也够用,视频生成视频用 wan 模型的话还要看原视频的长度和分辨率,视频长度越大爆内存的几率越高,要想顺畅点最好 24G 以上。
    yifangtongxing28
        5
    yifangtongxing28  
    OP
       1 天前
    @gazi 你好,这里的内存是指显卡的显存还是主机的 dram 内存?
    gazi
        6
    gazi  
       1 天前
    rockddd
        7
    rockddd  
       1 天前
    我怎么记得很多人 mac mini 串联玩 ai
    yifangtongxing28
        8
    yifangtongxing28  
    OP
       1 天前
    @gazi 那现在主流的只有 90 级别显卡显存才够,是否有内存当显存的黑科技啥的呢
    xtreme1
        9
    xtreme1  
       1 天前
    内存一直都能当显存, 慢 30 倍而已
    ktyang
        10
    ktyang  
       1 天前   ❤️ 4
    有这个钱买 api 都能买多少了,等 api 的玩熟了确定有需求了,你也就知道该上什么卡了
    flymemory
        11
    flymemory  
       1 天前
    优先满足显存,比方 5060ti 也是 16G ,只是速度慢一些
    其实如果只是简单玩玩,可以先试试 autodl 之类的
    另外 50 系对 pytorch 的版本要求 2.7 以上,要注意对应的依赖是否满足,有些老旧的 model ,可能对 2.7 的支持差些,折腾环境会比较闹心些
    jifengg
        12
    jifengg  
       1 天前
    你这卡,我所知道的“生图、生视频、生声音”等 ai 模型都能用。
    现在因为 8g 显存的卡居多,所以“大佬”们都会尽量使模型能够在 8g 下跑通。

    你现在已经可以畅快的玩起来了。
    Sosocould
        13
    Sosocould  
       1 天前
    显存更重要,所以这个星期 YouTube 有个很火的视频,是 Gamers Nexus 去张哥那里,把 24GB 的 4090 手搓成 48GB
    94
        14
    94  
       1 天前
    为啥要本地跑,直接租算力来用不好吗?
    yifangtongxing28
        15
    yifangtongxing28  
    OP
       1 天前
    @ktyang 哈哈,这个卡也能满足 4k 游戏性能啊
    kakki
        16
    kakki  
       1 天前
    我特别想知道现在本地部署还有没有优势,怎么看都是感觉租比较划算.
    Uplay
        17
    Uplay  
       1 天前
    @jifengg 求推荐数字人类的 AI 模型,我现在使用 comfyui 跑感觉走到邪路上了
    yifangtongxing28
        18
    yifangtongxing28  
    OP
       1 天前
    @Sosocould 这么厉害
    raydied
        19
    raydied  
       1 天前
    @yifangtongxing28 #3 他说的估计是模型要量化,fp16 >> int8 >> int4 ,这样模型会变小,显存占用会变小。
    yifangtongxing28
        20
    yifangtongxing28  
    OP
       1 天前
    @raydied 哈哈,学习了
    clemente
        21
    clemente  
       1 天前
    买 api 也就 200 块一个月 何必呢
    msywkylemon
        22
    msywkylemon  
       1 天前
    本地跑不然试试 Ai MAX 390/395 的?华硕对应的笔记本 1.2w 左右

    当然显卡显存肯定越大越好,16g 的 70ti 可以入门了,就是慢点
    m1nm13
        23
    m1nm13  
       1 天前
    起步价 2080TI 22G 缺点是主流量化 BF16 啥的都不支持
    入门款 3090
    高级货 4090 48G
    GuLuDaDuiZhang
        24
    GuLuDaDuiZhang  
       1 天前
    大部分人玩 ai 基本都是部署和应用层面的,例如本地跑跑色图、ai 宠物等,偶尔玩玩的程度,不是真的要用来主力做训练推理,所以买显卡兼顾下娱乐也正常。

    我目前见过真的用来搞 ai 的只有对学生哥来买我二手显卡,非计算机专业,申请经费学校没批只有导师给的点钱,所以才来买二手卡,要拿去实验学习下。其余周边人的 4090 、5090 后面新鲜劲过了就是回归看视频逛论坛和轻度网游,玩 3a 的都很少。。。
    ihainan
        25
    ihainan  
       1 天前
    前段时间 4080s 32G 魔改卡九千左右,现在已经涨到了一万多了。
    FireKey
        26
    FireKey  
       1 天前
    现在买 16g 内存起步,型号看预算.个人用如果还有玩游戏之类的场景就别买魔改卡.
    Greendays
        27
    Greendays  
       1 天前
    起步应该是 16G 的 5060TI 或者 4060TI 。更贵的显卡就不算起步了,小于 16GB 也起不了步
    msg7086
        28
    msg7086  
       1 天前
    笑死,我之前笔记本 4060 拿来跑图的,就是慢点而已。
    doctorzry
        29
    doctorzry  
       1 天前 via Android
    没钱就 2080ti 22g ,有钱就 5070ti 往上走
    HENQIGUAI
        30
    HENQIGUAI  
       1 天前
    显存的优先级大于版本。
    slowgen
        31
    slowgen  
       1 天前
    16g 在 AI 眼里是电子垃圾,你这个价格买两张 2080ti 22g 或者 7900xtx 24g 都更好,能退就退了。不信邪的话去 autodl 租个 4090 或者 5090 跑 comfyui 生成 720p 规格,一秒 15 帧,持续 5 秒的视频,看 nvidia-smi 显存占用。

    目前买 API 便宜的只针对 LLM 和图片类,要是玩视频那是贵上天的,重度使用要么租卡要么自己买卡。
    yifangtongxing28
        32
    yifangtongxing28  
    OP
       1 天前
    @slowgen 感谢 v 友,这个价的卡已经是目前最便宜的 5070ti 了,拿来玩游戏都是超值。视频类生成确实贵上天,你说的重度使用买的卡是什么卡,专业卡吗,想了解下
    UnitTest
        33
    UnitTest  
       1 天前
    我买了 5080 ,16G 用 ai 没问题,训练 lora 都不够。跑 llm 也跑不了大的。但是 5090 又太贵了,所以现在我 5080 打游戏,需要训练的时候租电脑。一小时 10 元以内。
    slowgen
        34
    slowgen  
       1 天前
    @yifangtongxing28 大显存 + 凑多张,比如 4 张 4090 魔改的 48G ,或者 4 张 5090 32G ,或者 RTX PRO 6000 96G 。
    算力差不多就够用了,举个例子,5 秒总帧数 81 帧的 480x480 视频,在 M2 Ultra 要 1 小时,一张 2080ti 22g 要 120 秒,一张 7900XTX 也是 120 秒左右,一张 5090 就只需 20 多秒,一张 H20 也是 20 多秒。
    但是如果你要做 1080x720 分辨率的视频,差距就更大了,因为一张卡的显存可能会爆,比如你用 LTX2 这个能同时生成声音的模型,一张卡也不够用了,除非用社区的量化方案。不同量化程度的方案出来的画质也不一样,需要自己去评估的。
    我现在做短剧,一人用一张 H20 ,做 5 秒的精细镜头,单张显卡的显存占用就来到了 70G 。
    kevan
        35
    kevan  
       1 天前
    显卡昨天已经开始涨价了
    yifangtongxing28
        36
    yifangtongxing28  
    OP
       1 天前
    @kevan 就是知道显卡涨价才囤的
    molika
        37
    molika  
       1 天前
    想买个算力卡,Nvidia Jetson Orin 64GB 不知道有没有大佬玩过。
    yifangtongxing28
        38
    yifangtongxing28  
    OP
       1 天前
    @slowgen v 友很专业啊。据我的 diy 经验,消费级主板很少有同时能插两张卡的 pcie ,看来这种本地化部署也需要专业的主板+多卡多显存

    一张 6k 的 5070ti 也就跑跑玩具 demo
    yifangtongxing28
        39
    yifangtongxing28  
    OP
       1 天前
    @UnitTest 哈哈,看来还是得 90 级别的卡才行
    luny
        40
    luny  
       1 天前
    有个另类的玩法,最近新出的 AI Max+395 的小机器,128G 内存版本,大概 1 万 5 左右,铭凡和零刻都有,可以跑 deepseek 70B ,大概 10 几个 token ,还可以多台级联,算是最廉价的本地方案。
    Dabney
        41
    Dabney  
       1 天前
    @luny AMD 的生态怎么样?
    Hilong
        42
    Hilong  
       1 天前
    @yifangtongxing28 #8 mac m 系列芯片就是内存当显存,确实有这个黑科技
    YsHaNg
        43
    YsHaNg  
       1 天前   ❤️ 1
    @xtreme1 n 卡 linux 驱动没法共享系统内存当显存 windows 可以
    wnpllrzodiac
        44
    wnpllrzodiac  
       1 天前 via Android
    一块怎么够?上工业级的,游戏显卡不够的
    frayesshi1
        45
    frayesshi1  
    PRO
       1 天前
    @molika #37 我玩过,只能推理吧,现在好多汽车上面都是这个芯片
    txx
        46
    txx  
       1 天前
    @Dabney 我快被 7900xtx 虐哭了,珍爱生命远离 amd ...
    blueslmj
        47
    blueslmj  
       1 天前
    我也是 5070ti 双 12 的时候 5700 买的,现在跑些 indexTTS 、whisper 语音识别啥都都挺快,比 runninghub 的 48G 还快
    molika
        48
    molika  
       22 小时 7 分钟前
    @frayesshi1 就跑模型。
    andrewTeller
        49
    andrewTeller  
       20 小时 22 分钟前
    @Uplay 同求推荐
    frayesshi1
        50
    frayesshi1  
    PRO
       13 小时 42 分钟前
    @molika #48 可以这么说,就是别人或者自己做好的模型在这个板子上面跑,训练就是做模型
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   3355 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 00:18 · PVG 08:18 · LAX 16:18 · JFK 19:18
    ♥ Do have faith in what you're doing.