 ONLINE |
fctenV2EX 第 7940 号会员，加入于 2011-04-13 23:42:32 +08:00今日活跃度排名 1019 |
fcten
fcten 最近回复了
1 天前 回复了 CNM47589 创建的主题 › 问与答 › 什么时候出新 12 寸 MacBook |
习惯了 16 寸的重量其实也还好……
1 天前 回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
MoE 模型的主要瓶颈在于内存/显存带宽，对算力的要求比较小。你的这个配置的瓶颈全在内存带宽上，GPU 妥妥打酱油。
用 24 通道的双路服务器主板，纯 CPU 跑 Q8 量化的模型也能达到 6 ～ 8 token/s 的速度。可以参考： https://x.com/carrigmat/status/1884244369907278106
用 24 通道的双路服务器主板，纯 CPU 跑 Q8 量化的模型也能达到 6 ～ 8 token/s 的速度。可以参考： https://x.com/carrigmat/status/1884244369907278106
1 天前 回复了 chenqh 创建的主题 › 问与答 › 你们过年的时候要上山祭祖吗? |
去，一般都是大年初一。坐标浙江
2 天前 回复了 Themyth 创建的主题 › 奇思妙想 › 有没有出租 deepseek 本地模型的云服务器？ |
官方有 api ，不过官方 api 这两天基本处于不可用的状态。
2 天前 回复了 privater 创建的主题 › macOS › 买大内存 MacBook 的一个意外好处——私人 AI 服务器 |
这居然是意外好处吗，我以为买大内存 mac 设备的都是为了本地跑 LLM 的。毕竟 mac 的金子内存一般人没需求是不会拉满的...
除了跑 LLM 还有哪些需求会用到大内存？视频剪辑？
除了跑 LLM 还有哪些需求会用到大内存？视频剪辑？
又不是不能用.jpg
5 天前 回复了 fengshushu8 创建的主题 › Mac mini › 买 Mac 电脑，一定要把所有预算堆到内存上，一定一定记住。 |
我看了下我 48g1t 的 mbp 14 个月已经写了 38T 了。8g 现在已经淘汰了，16g 以上的配置内存交换那点写入量基本不用太关注了。
不过如果主力使用的话，硬盘至少 512g 起步吧。
不过如果主力使用的话，硬盘至少 512g 起步吧。
如果这些功能只要 3 ～ 5 人一个团队就能维护，单体服务并没有什么问题
18 天前 回复了 xiaoxuz 创建的主题 › 分享发现 › [网站自荐] 搞了一个 AI 搜索服务 |
看 UI 是用 lepton 搭建的？
23 天前 回复了 shuyouning32 创建的主题 › 计算机 › 朋友推荐了一个电脑价目表， V 友帮忙看看审核下 |
从第一行看到 x99 就知道是电子垃圾……
Select Language