这是一个创建于 428 天前的主题，其中的信息可能已经有所发展或是发生改变。
请教一下，跑 Qwen2.5 72B 8 位量化的电脑配置，内存需要多少？
跑起来要几张 4090 ？，最快能生成几个 token 每秒呢？
 |
1
jifengg 2024-10-09 09:21:49 +08:00  1
有个粗略估计，int8 的，正好是 1B=1GB ，所以你这个需要至少 72G 的显存，注意是显存，而且是至少。
内存要求不大，但是 32G 应该也是至少的。 |
Select Language