请问目前哪些本地 AI 模型的代码能力比较强? 8G 显存的情况下.

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 531 天前的主题，其中的信息可能已经有所发展或是发生改变。

因为特殊需求, 需要离线查代码相关资料.

或者请问有这方面的排行榜 /测试表吗

10 条回复 • 2023-06-23 20:02:42 +08:00

murmur

2023-06-22 21:58:12 +08:00

8g 的模型除了画图都是玩具，基本没多长的会话长度，想真的用还得整个 o22g 的魔改版

czfy

2023-06-22 23:15:10 +08:00

本地
8G 显存

这两点就决定了当前不会有可用的

rogerer

2023-06-23 00:46:36 +08:00

好奇是什么资料查询需要用到 AI 模型

locoz

2023-06-23 04:15:15 +08:00 via Android

已经测试过了，目前能在消费级 GPU 上运行的开源模型，没有任何一个在代码能力方面达到可用水平的。

lithiumii

2023-06-23 05:33:56 +08:00 via Android

https://github.com/fauxpilot/fauxpilot

8G 卡得很好，可以跑 2B 参数的模型了

yanyuechuixue

2023-06-23 08:27:40 +08:00

借楼问下，24G 的话有什么模型可以跑呀？

swulling

2023-06-23 10:22:02 +08:00 via iPhone

@yanyuechuixue 24G 显存，可以跑 40B 参数模型的 4bit 量化版本。

yanyuechuixue

2023-06-23 14:10:01 +08:00

@swulling 谢谢大佬！请教一下，40B 的 4bit 量化和 7B 的无量化哪个性能好一些呀？

lchynn

2023-06-23 16:40:36 +08:00

@locoz StarCoder 这种肯定不行，但是 bigcode/santacoder 这种轻量级代码模型也不行么？

swulling

2023-06-23 20:02:42 +08:00 via iPhone

@yanyuechuixue 那肯定是大参数好