这是一个创建于 416 天前的主题，其中的信息可能已经有所发展或是发生改变。
我跑了一个 llama2 ，速度好慢啊
curl -X POST http://localhost:11434/api/generate -d '{
"model": "llama2",
"prompt":"Why is the sky blue?"
}'
用官方的指令，竟然花了 1 分多钟，才回答完……
大家的 mac mini 跑的都是什么本地模型？
curl -X POST http://localhost:11434/api/generate -d '{
"model": "llama2",
"prompt":"Why is the sky blue?"
}'
用官方的指令，竟然花了 1 分多钟，才回答完……
大家的 mac mini 跑的都是什么本地模型？
 |
1
qiancheng 9 天前  1
afmd 可以看看大佬弄的苹果自己的本地模型 API ，速度还不错，对资源占用少
https://github.com/iqiancheng/afmd#readme   |
Select Language