这是一个创建于 352 天前的主题，其中的信息可能已经有所发展或是发生改变。
在犹豫买 m3 64 的还是 128 的，现在一直在用 m1 max 64g 的。之前主要做一些计算的开发，各种语言都在用，当年才出的时候比较快。后来感觉就不行了，编译速度也比不上服务器了。。。现在发现从去年开始，基本上都是远程连到自己的服务器做开发了。。。m1 本地太慢了。。。
平时的场景，都是开一堆 idea 本地，pycharm 远程，clion 远程。最近 1 年，在搞 ai ，基本上全是 pycharm 远程。。。用的依赖基本上 mac 下一堆问题的，java/node 开发连 clickhouse 的 arm 的 docker 也一堆问题，想着赶紧开发模型赚钱重要，不想花时间去搞依赖，搞了也没啥用，最后也都是要部署到 linux 。
看了下，内存，大多数工作场景都用不满。
不想引战
求买过的 v 友说说，新出的 m3 max 准备下手了，主要 m1 太慢了，在开发方面（我不开虚拟机，本地跑了几个 db 的 docker ），不知道 128g 内存会比 64 有用吗？
 |
1
BenX 352 天前
M1 Max 64GB 刚升级 M3 Max 64GB 做开发够了，128GB 不本地跑模型感觉用处不大。
|
 |
2
terrysnake 352 天前
其实用不用得上 128 ，我觉得取决于未来有没有爆发式的新领域出现。
比如我的 16g m1 Pro ，基本不用于工作， 但最近 ai 画图井喷式出现，16g 就不够用了。 |
 |
3
jorneyr 352 天前
上预算能够买到的最高配，只要经济压力不大就好。
|
 |
4
simpleisbest 352 天前
反正是远程，没必要换 m3 m1 区别不大的
|
 |
5
noahhhh 352 天前 via Android
你这需求不是 MacBook Air 就够了，反正笔记本就是当个终端用。Linux 下部署训练成熟的多，干活没得选，除了一堆自媒体吹没听说谁用 Mac 搞 AI ，huggingface 上面 coreML 模型都没几个。
|
 |
6
PureWhiteWu 352 天前
同 M1 Max 转 M3 Max ，64G 转 64G 。
本来也是纠结要不要上 128G 来着，后来发现 64G 内存做普通开发（ Rust ）完全是够用的，所以还是停留在了 64G ，事实证明确实是够用了。 可预见的未来我不会从事大模型开发，对跑这玩意儿也不太感兴趣，所以最终决定不上 128G 。 我的想法是，如果在 M3Max 使用过程中 64G 跑满了，那么下一次更换 M5/M6 Max 的时候，我就上 128G 。 |
|
7
PureWhiteWu 352 天前
另外，M1Max 转 M3Max 提升巨大，体验明显。
|
 |
8
qweruiop OP @BenX 谢谢
@terrysnake 嗯。。。明白 @noahhhh 确实是想这么干，之前买过 m2 air ，退了，开多一堆 ide ，就卡的要死。。。主要是最近，同事买的外星人编译代码 (c/python/java) 和打开 jetbrains 系 ide 的速度明显比 m1 max 观感上的快。感觉 apple 是不是走偏了，好好的 cpu 不去搞好点，搞 gpu ，但是业界都还不支持呢。。。搞的再好，部署到服务器的时候只有 linux ，谁会花功夫去帮他推动呢。。。 @jorneyr 主要是被同事最近的外星人刺激到了。。。 @PureWhiteWu 我在 linux 下，idea 的打开速度和编译速度都比 m1 max 快很多，m3 会好点吗？ |
 |
9
merlinX 352 天前
M1 Max32G 换了 M3 Max 128G ，主要本地可以跑 LLama 70B
|
 |
10
mbooyn 352 天前
在 V 站看到黄色、红色内存压力的帖子里面截图发当前绿色的内存压力
|
 |
11
LevineChen 352 天前
现在全远程 m1 max 也慢? 我现在 m1pro 16g, golang webstrom 全程本地开发, 乱七八糟各种客户端, 软件基本只开不关都没觉得卡过
|
 |
12
coderwink 352 天前
挺关心如何用 Ai 赚钱的
|
 |
13
clemente 352 天前
本地跑大模型
|
 |
14
ShadowPower 352 天前
给服务器再加一块显卡吧，比加在 Mac 上有用多了
|
|
15
qweruiop OP @LevineChen 这个卡，理性的说当然不全是 m1 的锅嘛，我开 7 ，8 个 idea 家的窗口。。。但是，最近和同事的顶配外星人装 linux 比，打开项目/编译项目/运行项目的体验就非常明显有观感上的差异了。。。
|
|
16
PureWhiteWu 352 天前
@qweruiop M3 Max goland 我的体验是秒开
|
 |
17
iCruiser 352 天前
以现在的 swap 用量和内存压力为基准，出现 swap / 内存压力接近 50% 就要考虑内存升级
|
 |
18
omgr 352 天前
关键是你觉的 M1 Pro 太慢了，那 M3 Max 怕也快不了多少吧，况且内存不是瓶颈。
不过呢，既然搞 AI 挣了不少，上满配管他呢，不然总会有念想。虽然光从依赖角度，该远程还是要远程（ |
 |
19
43n5Z6GyW39943pj 352 天前
哥们技术栈实力这么雄厚
|
 |
20
wclebb 352 天前
我是买了 M3 Max 128G ，和你不一样的是，我是设计兼渲染的。所以基本上就是预算上选 内存最大。
恰好对最近的 AI 和模型也有兴趣，想本地跑跑图或文字看看。 LLaMa 70B 好像在 110G 左右，128G 恰好也在能跑的范围内。 最近听说清华大学 SDXL 模型，M1 跑图原本一分钟，缩短到几秒，跟 2080Ti 差不多的级别。 所以 AI 在 Mac 方面也是在追赶上去，但短期内可能没这么快。 我也是从 宣布 OCtane he Redshift 支持 macOS Metal 开始，一直等了跳票很久才终于用上 Redshift he OCtane 。 |
|
21
qweruiop OP 看了一下，现在开了 1 个 gateway 跑 clion ，3 个 gateway 跑 pycharm ，1 个本地 idea ，1 个本地 sublime ，若干个 terminal 窗口。。。感觉是 cpu 不行，我 xmx 都配的 10g ，但是最新版 idea 里面索引文件还是要卡一会儿，但是同事的顶配外星人就嗖嗖的。。。
|
 |
22
Rorysky 352 天前
python 以来都有问题？ 你用的什么包，自己编译安装不行么？
|
|
23
qweruiop OP @Rorysky 太多包了，计算的一堆，cuda 的一堆，之前都是 conda 直接装，但是还是有一半不成功的。关键是，之前没对比没觉得，直到：
1 ，去年同事教唆开始用远程开发。。。发现 m1 max 速度（ pycharm 打开项目速度/里面双击 shift 搜索速度/debug 的启动速度），运行速度暂不讨论（这个涉及到代码优化问题，不够客观），都和远程到 linux 上有非常明显的观感差异。。。 2 ，最近，和另外同事的顶配外星人比，确实又差了很多。。。 |
 |
24
chonger 352 天前
觉得慢有可能是 sip 的锅，关了试试。这里有人说的很清楚了 https://catcoding.me/p/apple-perf/
|
|
26
qweruiop OP @Rorysky cv 的一堆包，学习的一堆包，有些能运行，但是跑程序哇，远程 cuda ，都跑完 1000 frame 了，这边还在慢吞吞的，就是个玩具。。。看，老外也有调好的，但是感觉这条路短期没啥用。因为程序最后毕竟还要部署到 linux 那边去的嘛。。。
|
 |
27
lonenol 352 天前
m1 max 64g 咋会卡，我还在 m1 pro 16G 流畅的使用。。
|
 |
28
shimanooo 352 天前
看最小够用的那档，然后翻个倍就行。
|
|
29
chonger 352 天前
 |
 |
31
jZEdn7k4 352 天前
我感觉你个人体验下来外星人明显更优啊，不管是实际上还是心理感官上，那你为啥不直接买外星人，并不会比顶配 m3 max 贵吧。用 mac 想着大内存做 ai 就算了，你自己也发现了 mac 上 DL 绝大部分包是不适配的，你到时候用别人开源的代码基本都用不了，纯给自己加难度。
|
 |
32
jsq2627 352 天前
我咬牙上了 128g 。唯一跑到超过 64g 内存的场景是开发一个跨桌面/移动平台 React Native app 项目，同时开着：
- VSCode - Android Studio - Xcode - iOS Simulator - Android Emulator - GoLand - Chrome 一大堆 tab - 若干 Electron-based app （ Slack 、Teams 、Figma 、Notion 等） - Windows 和 Linux VM ，调试 app 在 Windows/Linux 下的行为 - Docker ，跑着各种后端服务依赖 这还是为了实验 128g 内存够不够用专门都打开的，平时其实不会这样去用，大多数时候专注在 1-2 个目标平台上开发。 |
 |
33
my3157 352 天前 via Android
本地跑个 codellama 34b ，没几个问题风扇呼呼呼的转😂
|
 |
34
xieren58 352 天前
看钱, 不差钱, 满上...
|
 |
35
PainAndLove 352 天前
重度前端开发，之前入过 macstudio m1ultra 128gb 版本，使用了一年。
chrome webstorm + 各种代理 + node ... 结论就是，64gb 就够了. cpu 的话从跑分来看 m3max 已经和 14900k 不相上下(甚至稍强)，m1max 应该是 12600 的水平吧，提升肯定是比较明显的 |
 |
36
hahaFck 352 天前
没必要买 128 的，我也是 m1mx64 换的 m3max ，我都想换 32G 的了，但是 m3max 是 48 起步，就加到了 64G ，64G 完全够用了，加 6000 到 128 ，感觉不值得。
|
 |
37
nino 352 天前
用 m1 max 64G 的时候也几乎不会 swap ，看你的场景吧，预算如果足够当然拉满
|
 |
38
TuringHero 352 天前
Llama-2-70b
|
|
39
qweruiop OP @jZEdn7k4 嗯，我是 m1 max 远程服务器开发，同事是外星人本地开发，主要我很多聊天工具，截图工具，office ，ps 啥的，觉得 linux 不能打。。。但是感觉除了这些辅助工具，开发方面的 mac 不难打。。。
@TuringHero 这个模型需要 64 还是 128 的才能跑？ |
|
40
jZEdn7k4 352 天前
@qweruiop 你要不外星人装 Windows 然后 pycharm 里配置 WSL Linux 开发，此外你说的聊天/截图/office 啥的应该 windows 下都更猛。。。ps 这种可能 mac 更有优势。Llama-2-70b 你只是用用 4-bit 版本 48G 就够了，16fp 版的就得 130G 了（ https://huggingface.co/TheBloke/Llama-2-70B-Chat-GPTQ/discussions/2 ），但问题还是那样，这类 huggingface 上的模型很少有考虑 mac 兼容性的，这个级别的模型你也是改不了的
|
|
41
TuringHero 352 天前
@qweruiop #39 70b 上面有人说在 110G 左右。我没 64 的试，看油管老哥用 128 测的，显著强于 4090 24G 。
|
|
42
ShadowPower 351 天前
@TuringHero 现阶段最有用的开源模型可能还是 Yi 34B ，我自己测试下来，写作方面真实表现真正超过 GPT4 。
如果只讲究实用的话，一块 3090 的性价比足够高，且足以满足需求了。 LLaMa 2 70B 其实大多数方面的真实表现和 Mistral 7B 差不多，它们的微调模型也类似。 我还测过一些其他模型，通义千问的 72B 比 Falcon 180B 好，而 Yi 34B 的 SFT 模型比通义千问的 72B 好。 |
|
43
qweruiop OP @ShadowPower 这些模型 64 能跑吗？还是一定要 128 ？
|
|
44
ShadowPower 351 天前
@qweruiop 用量化的版本，64GB 可以跑 34B 和 70B 。70B 的可能只能用 CPU ，因为 Mac 其实还限制了最大显存大小，比内存的一半多一点。
一定要跑 fp16 精度的话，34B 的模型跑起来实际上就用 67GB 显存了，而且效果差别也不明显…… 超过 70B 的模型都不推荐。开源社区没人能微调这些模型，表现都不如参数量更小的。 |
|
45
qweruiop OP @ShadowPower 确实，再大的模型也不指望了。。。 谢谢老铁
|
 |
46
lancelvlu 209 天前
@ShadowPower “因为 Mac 其实还限制了最大显存大小，比内存的一半多一点。”你好，这个是苹果自己宣布的么？还是别人测的啊？有没有相关文档或者视频分享啊。感谢！
|
|
47
ShadowPower 209 天前
@lancelvlu 之前我在玩 llama.cpp ，然后每天逛 reddit （ localllm 板块），和 github 的 issue 。
llama.cpp 有个版本开始支持了 metal ，有些人碰到了模型加载失败的问题，于是有个工程师（ llama.cpp 贡献者）用自己的 mac 做了测试，得出的这个结论。 现在找的话，不太好找，印象中他用的是 64GB 内存的型号，实际可直接分配的最大显存有 37GB 左右。我记不得精确数字，只记得是 3 开头，超过 32GB 一些。 |
Select Language