各位的 m4 设备都陆续到货了，能否跑一下 ollama/llama.cpp ，看看大模型这块的算力究竟比 m1 max m2 ultra ， 提升有多少？
beginor · 4 小时 38 分钟前 via Android · 800 次点击跑不太大的模型， 比如 Llama 3.1 8B
这个模型 16G 内存的丐版也能跑起来。
13 条回复 • 2024-11-08 22:09:27 +08:00
 |
1
berchtesgaden 4 小时 15 分钟前
|
 |
2
234ygg 3 小时 51 分钟前
本地跑的全是弱智模型。。做个翻译都嫌蠢
第三方 gpt api 还不够便宜？ |
 |
3
Tubbs 3 小时 49 分钟前
@234ygg 并不是这样的，体验一下 qwen2.5 32b 的量化模型，本地可以跑，评测水平和 gpt-4o-mini 差不多水准了，日常用起来感觉也是不错的
|
1 |
5
slayer 3 小时 34 分钟前
@berchtesgaden #1 这个不错，现在 mac 应该在 lm studio 下跑了转换的 mlx 模型，貌似 ollama 还不支持 mlx 格式的。
|
 |
6
Gotchaaa 3 小时 25 分钟前
我 M1 pro 都能跑
|
 |
7
piero66 3 小时 18 分钟前 via Android
8b 太蠢了
|
 |
8
shinecurve 3 小时 8 分钟前
原本计划买 M4 Max + 128G 跑 ollama 的，后来从 llama 70b 的能力、算力成本和实际应用场景考虑我最终放弃了，感觉还需在在等两年，我认为目前最好的选择还是 ChatGPT 。
希望对你能有些帮助。 |
|
9
234ygg 2 小时 55 分钟前
我已经懒得试了，最后一次跑本地模型是几个月前 gemini27b ，远不及 gpt3.5 ，勉强能干个不涉及较多专业词汇的简单翻译，功耗在我的 4090 上高达 250W 。。但凡问点其他问题，我都不说回答的对不对了，甚至不能持续稳定保持中文回答。再早几个月的 llama3 更是一坨。
llama3.2 11b 充其量也就那点水平，合理推断也是个弱智 gpt4o 的 apt 都那么便宜了，更不要说 3.5 了，不要骗我浪费电 听显卡电感箫叫了 |
 |
10
yinmin 2 小时 52 分钟前 via iPhone
13:20 m4max 跑大模型的评测
|
 |
11
beginor OP |
 |
12
dilidilid 2 小时 46 分钟前 via iPhone
真的没啥意思，我一直不能理解本地跑大模型推断的意义所在
|
 |
13
tanranran 2 小时 41 分钟前
 |
Select Language