首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
V2EX
›
hughrover
›
全部回复第 1 页 / 共 1 页
回复总数
1
1 月 14 日
回复了
wyfig
创建的主题
›
Local LLM
›
本地大模型目前意义大吗？
以 16B 尺寸的模型部署推理为例，加载半精度模型权重占用显存 16G （全精度 32G ，此外还有 KV Cache 、激活缓冲区占用的显存），即使是 m4 max 的最高配 128G ，也很难流畅运行超过 100B 尺寸的模型，供楼主参考。
关于
·
帮助文档
·
自助推广系统
·
博客
·
API
·
FAQ
·
Solana
·
4525 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 12ms ·
UTC 08:57
·
PVG 16:57
·
LAX 00:57
·
JFK 03:57
♥ Do have faith in what you're doing.
❯
Select Language