如标题所言,想要一款成本在万元内的全本地 ai 编程方案 题主并非程序员,但日常中需要使用自制程序的场景越来越多,所以想要个稳定的生产力来源 题主自身技术水平不过关且在墙内,优质模型 token 没有稳定且成本可控的获得渠,道需求又较为独特,不知道这个想法能否实现,如果不能,该如何曲线救国来做成同样的事情?请大家予以指导,题主在这里跪谢大家 由于使用场景与场所较为固定,故而不太想要更“灵活”的云上方案,选择保密性好安全性高的本地方案 如果可行,最好能够保存多 agent 协作、skill 等功能,会需要这套系统处理不少复杂任务 在保证安全性的前提下留下升级接口,使该套设备能够进行实际工作内核的升级替换,比如 Claude3.0——>Claude4.1 这样的操作以及从原始 vibe coding 升级到使用 skills 等类似操作。 能导入知识库 能够进行代码审计的工作 上下文长度尽量长 能够自主完成操作员设定任务,不需要操作员长时间驻守在屏幕前 能使用 python 和 Linux 语言进行编程 能进行硬件的编程(退一步写个单片机的程序、进一步就是实现 RISC v 的开发) 能进行提示词的发散与补全,以弥补相关专业知识空缺,辅助操作员与系统进行开发 生成速度方面,拿生成你画我猜小游戏举例,该套系统能半小时生成完毕可即用的最终产品就是巨大成功
当中可能有我没意识到的冲突点或未说清除的信息,让大家见笑了
再次恳请大佬们给予我指导,小弟感激不尽!
1
SiWXie 18 小时 40 分钟前 via iPhone
万元内…,现在 64g 内存条都要 5k 多,5090 显卡 2w 左右,你这个需求,即使是 3 年后预测万元内也没戏…
|
2
msg7086 14 小时 39 分钟前
成本可控的性能可能不太过关。
|
3
youshangdemajia 14 小时 7 分钟前
万元内显卡能跑的本地模型现在性能都很差。还是花钱订阅吧,20 刀一个月的套餐性能都远超本地模型,一万元能用多久了
|
4
kulove 13 小时 54 分钟前 via Android
本地别想了 哪怕百万部署现在最强开源模型 和主流编程模型也是有不少小差距的
|
5
iceprosurface 13 小时 47 分钟前 via Android
万元以内基本不可能,要是十万块以内你可以买 mac 蜂窝煤,大概跑个 glm 这种国产的单人能到 40-50token/s
|
6
yangzzzzzz 13 小时 2 分钟前
一万块买服务能多久了,还不用考虑硬件老化 性能过时的问题
|
7
tomclancy 12 小时 57 分钟前
建议拿钱相亲找个富婆,让她送你一个
|
8
TabGre 12 小时 57 分钟前 via iPhone
总有人觉得本地化是必要性,然而经验告诉我 没有鸟用, 用 API 服务都上线了 本地化还在纠结选什么设备,当然你是大企业当我没说 可能本地化就是一年的 KPI
|
9
TabGre 12 小时 55 分钟前 via iPhone
如果想要方案也简单 不过 1w 不行。简单点 参考 exolab 整个 6 台 mac mini glm 4.7 可以跑 具体参看官网
|
10
leegradyllljjjj 12 小时 50 分钟前 via iPhone
洗洗睡吧 买显卡都不够
|
11
PerFectTime 12 小时 41 分钟前
1W 跑不了什么好用的模型,10w 也不够,评估一下你的数据是否真的有这么高的价值吧,不如直接拿来买订阅
|
12
rocmax 12 小时 37 分钟前 via Android
mbp m4max 表示本地能跑的还是离 Claude 4.5 差远了
|
13
cowcomic 12 小时 34 分钟前
也不用非得自制环境吧
我现在用 trae ,感觉还不错 |
14
nevin47 12 小时 32 分钟前
一万的预算不够,本地大模型就算你一个单用户使用,你部署一个上百 B 的模型需要的显存一张 A100 都打不住,就算用 Mac 的 unimem 方案,假设你配置 128G 的内存来加载参数,也差不多 10W+的成本了,而且受限算力可用性也很差
如果涉及本地安全保密的需求,那你唯一的路径就是加预算,然后用 qwencoder-32B 这种小模型去跑 |
15
cowcomic 12 小时 31 分钟前
好吧,没看见保密性问题
私有化部署,还得效果好的话 至少得是大参数通用模型( 671B 级别)+code 专用模型配合 硬件就得几十万了 |
16
Solix 11 小时 3 分钟前
几十万入门,几百万可使用,几千万顶尖,你选一个吧
|
17
SakuraYuki 10 小时 56 分钟前
加钱 3w 多买老黄那个 ai 计算终端
|
18
ingxhe 10 小时 38 分钟前
万元内的全本地 ai 编程方案
要不你自己再读一遍 另外你先区分一下硬件和软件吧 |
20
jonty 7 小时 38 分钟前
万元内买 api 吧,连台像样能编译的电脑都攒不起来。
|
21
dajj 4 小时 5 分钟前
一年 200 块科学上网,然后用 Antigravity
|
22
pxlxh 47 分钟前 via iPhone
有这种东西的话 vibe 工具早倒闭了 想屁吃呢 除非是小学生入门代码编写
|