现在大语言模型挺火，我平时用的都是在线的 chatgpt 、deepseek 之类。
最近看到 AMD AIMAX 395 什么的，我在想是否自己组一个，本地搭建一个蒸馏模型。
但除了隐私数据安全相关问题，像我这样普通人，也想不出本地应用场景的优势。
8 条回复 • 2025-12-29 11:03:12 +08:00
 |
1
donaldturinglee 19 小时 55 分钟前  1
本地跑小模型玩一玩，学习一下原理，真要在生产环境用肯定是组卡或者买 API 。
|
 |
2
crocoBaby 19 小时 46 分钟前 via iPhone 1
本地部署只玩到推理，但是 ai 含金量高的技术是预训练，所以本地部署使用场景有点鸡肋
|
 |
3
vtea OP |
 |
4
xiaket 19 小时 1 分钟前
^用正常模型来给一个程式化的判据, 而不是每次需要依赖不那么可靠的本地模型来预测
|
 |
5
volvo007 17 小时 45 分钟前 via iPhone
我们这行有很多测试标准，所以准备给公司搭一个知识库用。但设备是专门的 4 卡 A100 ，还有一台 8 卡 4090 的准备放点别的小玩意。就算推理也是需要一点算力和显存才可用
|
 |
7
wnzhyee 8 小时 54 分钟前
参数量为王，再怎么蒸馏，家用 pc 的那点性能能搭起来的 LLM 和闭源那些主流模型比差距太大了，不是一个世界的
|
 |
8
Daybyedream 7 小时 33 分钟前
自己弄个 然后弄个 dify
|
Select Language