首页注册登录

g0147456g 最近的时间轴更新

g0147456g

V2EX 第 665227 号会员，加入于 2023-11-30 19:10:16 +08:00

g0147456g 提问技术话题好玩工作信息交易信息城市相关

g0147456g 最近回复了

2024 年 6 月 28 日

回复了 leeum 创建的主题 › Local LLM › 使用 llama3:70b 本地化部署， 100 人左右的并发，大概需要多少块 4090 才能满足？

4090 估计是完全不行。4bit 量化下仍然需要 40+GB 的显存，而 4090 不支持 nvlink ，难以多卡并行

» g0147456g 创建的更多回复

关于 · 帮助文档 · 自助推广系统 · 博客 · API · FAQ · Solana · 2372 人在线 最高记录 6679 ·

Select Language

创意工作者们的社区

World is powered by solitude

VERSION: 3.9.8.5 · 11ms · UTC 08:49 · PVG 16:49 · LAX 00:49 · JFK 03:49
♥ Do have faith in what you're doing.