有人买英特尔 14 代 ultra 系列的 cpu 了么，里面的 npu 运行 ollama 速度大概什么样？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 274 天前的主题，其中的信息可能已经有所发展或是发生改变。

英特尔 14 代 ultra 系列 cpu ，京东上小新显示支持 200 亿参数。ollama 的几个模型最大的那个可能内存上不够，不过想知道 ultra 系列的 ollama 运行大模型的速度如何。有人可以分享一下吗

我用的 7840H 的本子，倒是可以运行，回答问题基本上是几分钟才能回答完毕。

1 条回复 • 2024-02-22 19:59:44 +08:00

Track13

274 天前 via Android

建议等下一代。