这是一个创建于 271 天前的主题，其中的信息可能已经有所发展或是发生改变。
在人工智能使用方面，尤其是 LLMs.
Mac Studio 128GB 仍然比 A100 80GB 便宜得多。
 |
1
coinbase OP 等 M3 的 Mac Studio 出来，感觉比 A100 性价比舒服很多
|
 |
2
june4 271 天前
比的是内存大小？那确实 m2 便宜，不过小米更便宜
|
 |
4
kaichen 271 天前  1
那你可以对比 96G 的价格，从推理来说，能效方面 apple silicon 比较高，并且买回来就能用，买个 A100 还要组个主机
但是推理速度会被吊打，基本上差一个量级 - https://towardsdatascience.com/how-fast-is-mlx-a-comprehensive-benchmark-on-8-apple-silicon-chips-and-4-cuda-gpus-378a0ae356a0 - https://owehrens.com/whisper-nvidia-rtx-4090-vs-m1pro-with-mlx/ |
|
5
kaichen 271 天前 1
在 reddit 的 local llama 上，比较推崇的是买两块 3090 组 nvlink ，这样有 48G ，可以刚刚好跑个 70b 的 q5 量化版
|
 |
6
stimw 271 天前
这只是对于一部分 LLM ，可能 apple silicon 显得非常有性价比。
但是对于 SD ，SVD 等任务来说就不是这么一回事了。可用性并不高。 |
 |
7
luguhu 271 天前 via iPhone
推理速度太不行，只是能用
|
 |
8
litguy 270 天前
感觉性能是 奥拓 vs 奥迪
|
|
9
coinbase OP |
|
11
stimw 270 天前
@coinbase #9 你别拉到最后看结果啊。4090 慢的原因是超显存了，结果就是需要过 pcie 过 cpu 过内存。
事实上 70b 的 llama 完全可以用两块 3090 组 nvlink ，你看还慢不慢？ 买 apple silicon 的结果就是，除了围绕 llama.cpp 做文章，干其他事的可用性对比 cuda 约等于 0 。 |
 |
12
Alias4ck 269 天前
@stimw 也不完全是 llama.cpp, apple 去年也有出自己的 ml 框架(mlx( https://github.com/ml-explore/mlx) ) 用来转 coreml
有很多应用的例子 ： https://github.com/ml-explore/mlx-examples 比如你可以在 apple silicon 上跑大语言模型的微调等 |
 |
13
xz410236056 269 天前
@Alias4ck #12 MLX 这东西跟用 pytorch 调用 MPS 训练，然后将成果使用 coreml tool 转成 coreml 模型什么区别呢。
|
|
14
stimw 269 天前 via Android
|
Select Language