@locoz
简单估算模型规模 * 2 就是无量化的显存占用.
速度不容易估算出来.所以这个数据更有价值一些.好在过了这么多天,网上已经有很多测试视频了.
多人使用肯定要量化的.慢点总比用不了要好.

楼主是不是在找华小秘?

市面已经有同类产品了.

原则上越大越好,目前 MPS 确实存在限制,粗略估算三分之二当显存.
一旦内存爆了,速度会立刻降到没法使用.
实测 32G 内存跑 70B 量化只有 0.03 tokens/s.

@jjxtrotter
@lianxin255
我之前关注了林亦 LYi,所以第一时间就看到了.然而他在视频中的说法是有误导性的.我求证了 Apple 工程部,截至目前尚未回复具体数据,说是要等待测试结果.

@locoz
1. 我坏了两块显卡.一块换新,另一块还杳无音信.所以我关注保修.电商的返修率也能说明问题.
2. 在不超过预算的前提下,如何为客户组装能同时跑两个甚至三个 70B 模型的全新英伟达硬件?有配置推荐么?
3. 客户是十几人的小律所,接案律师疲于奔命,想利用 AI 快速筛选难以胜诉的官司.出于合规性要求,必须离线部署.没办法选择商业闭源模型.即便是开源模型在很多领域无法与闭源相媲美,但只要能胜任工作,我觉得就是好模型.类似的,还有医院使用的心电图 AI ,可筛出极早期异常 Q 波,也需要本地部署.
4. 现阶段,依托 openAI 的国内公司,都不合法.很多公司应该也都收到了通知:禁止设立 openAI 与 chatGPT 的镜像站.
5. 个人考虑隐私选择本地不是很正常的需求么.换句话说,我自己开心 YY 一下存本地不是正好.出个新模型测试一下,本地跑跑也很方便呀.
6. 你实际的体验是如何体验的?测试环境和测试方法是什么?又是如何评分的?与目前的测试集相比,有哪些优势?不能因为个人喜好,就推翻行业内的通行做法吧?
7. 你做的很多自用的、包含复杂逻辑的省事工具,解决了什么问题,又是如何解决的?能举个例子便于理解吗?
8. 店铺是朋友推荐,我并未亲自查看,如果误导他人,并非出自本意,深感抱歉.

@locoz
问题是五万以内预算,兼顾大显存与保修,除了 Mac 就是 4090 * 2( 捡垃圾 3090 * 3 ).
不想采用 NVIDIA 的方案一是显存较小( 44G VS 192G ),需要拆分模型;二是作为一个臭打游戏的来说,老黄的吃相,影响食欲.
所以我更期待看到有关 Mac 的测试,似乎没看到各家的算力市场中有提供.如有请告知.根据我目前的测试,这里是有些坑的.多看看可以避坑.

大模型本地部署是有着很强的优势的,比如:

1. 不会因为大公司的模型一更新,你学会的方法就不能用了.
2. 可以进行训练微调,获取某个领域的专业技能.这点可能随着技术发展会被湮没.
3. 可以离线部署,不会泄密.
4. 对齐导致的精度下降等等.

简单的说,本地部署 VS 大公司产品可以理解成 NAS 和公有云网盘之争.私人网盘无论稳定性还是功能性都远远不如公有云,但很多人依然选择自建.我相信每个掏出真金白银的人都有充足的理由选择本地部署.从这个意义上说, Mac Studio 更适合小型工作室或者个人开发者. 不是所有的开发者都能拿出 A100 * 32,但他们仍然应该有资格入场,这是一种平等.

科技的进步如果让生产力垄断在少数公司手里,而不是让每个人变的更强大,这是何等悲哀的景象.

依我看:
用个人用户体验去判断某个行业的应用前景,未免武断了.至少也应该使用数据集进行测试, zero shot 能否满足需求? few shot 呢?Lora 表现如何?
现阶段,重视模型的使用胜于挑刺.采用更 open 的眼光看待新事物,保持对世界的好奇心,可以证明我还没老.

@wanghui22718
店铺叫开源宇宙 GPU 服务器工厂.

PS: 本人与该店铺无任何利益相关.

@locoz
算力云这些我也用过.之前炼丹就是在上面跑的.主打性价比.
但这些方案不太适合个人 **本地** 推理.

我调查过相关方案:

1. 3090 * 8 + NVLink ,保修堪忧,价格适中;
2. 4090 * 8 + 魔改 NVLink,淘宝有商家在做.可得到最高的推理性能.最贵.
3. Mac Studio 192G,大显存.最便宜但慢.

如果预算不足就只能选 Mac 了...

@locoz
云计算参考意义不大,那些服务器个人购买还是太贵了.我想放在本地运行.感谢回复.

再蹲一会看看有没有类似的数据.

@locoz
方便分享测试数据么?
什么设备上测的?显存占用和速度( token/s )如何?
想升级设备.

@Suigintou
我没说清楚，我以为平台将黑色处理成透明，这是以前游戏客户端处理透明的一贯做法。所以更换了个和黑色近似的颜色。也尝试更换过其它纯色，然而都一样会触发这个 bug 。

@Suigintou
上次就是这么尝试的，无效。
我第一反应也是把黑色处理成透明了。

@mxT52CRuqR6o5
透明度调整是支持的。但对 GIF 的支持是不完善的，导入会变成视频。
刚请朋友做了个测试结果更迷惑了，同一个人单独发送表情显示有问题，把 GIF 文件发过去又显示正常。微信处理这两个的逻辑不同？？？

@mxT52CRuqR6o5 貌似 Pixelmator Pro 中没有 Alpha Channel 的概念。

在其它系统和软件中渲染正常，我更趋向于问题出在微信客户端。

@j20001112 然而卡梅隆多次前往泰坦尼克号...


@Suigintou 之前尝试过纯色，失败。这次特意改了颜色，还是不行。


@mxT52CRuqR6o5 gif 。是动画表情。

@3thAn9u
不太理解你说的“有办法破吗”指的是什么。
如果是说绕过解锁的话，我没研究过。

@LxExExl
放心大胆用 8G ，没那么不堪。

我日常用 Mac Studio M1 Max + 32 核 GPU + 32G 内存 + 512G 存储。外出用 MacBook Pro 2018 款，i5-8259U + 8G 内存 + 512G 存储。业余做个 Web ，追求性价比基础版足够用了。日常体验没纸面上的数字差异来得那么大。

就是在做 SEO ，有些黑帽手法，并不是劫持流量，付费的价格超出很多人的想象。疫情当前，很多网站变现困难。
我有客户也和他们合作，就是文中的正主。

只有 @nosmile 、 @eason1874 、 @ye4241 判断正确。👍

@a0000
@majula
化妆达人会理解成口红。
数码宅会纳闷到底是苹果笔记本电脑、台式机还是一体机。毕竟前两个都可以认为是便携，最后一个麒麟臂选手也能拿走。

程序猿多少有点强迫症，工作时大小写敏感，写错了编译器分分钟教你做人。而计算机又有太多专有词汇仅仅依靠大小写区分。
我觉得如果细节不影响整体表达就问题不大。一般问问 “MBP 进水了怎么办”大家也都看得懂，不必非得写 “MacBook Pro with Retina display 进液”。但你要说“通勤携带个 MAC 感觉好重啊”就让人疑惑了。
既然是讨论，无论是细枝末节，还是整体大局，只要和问题相关的，都可以说。开放是基本态度。至于是否愿意接受，是另一回事。