V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  babyedi31996  ›  全部回复第 2 页 / 共 4 页
回复总数  61
1  2  3  4  
152 天前
回复了 babyedi31996 创建的主题 程序员 本地部署大语言模型哪家强?
@LaTero 感谢大佬,长见识了.试试 openrouter 一会
152 天前
回复了 babyedi31996 创建的主题 程序员 本地部署大语言模型哪家强?
@LaTero 感谢回复,但是在线隐私还是有一点担忧阿.openai 和 claude 是不封号了,但是这个 openrouter 会不会审查或者封我的号...
152 天前
回复了 babyedi31996 创建的主题 程序员 本地部署大语言模型哪家强?
@hez2010 感谢这位大佬,这个模型需要多大显存可以使用阿?不太理解 16x3.8B 的意思.
比 4o-mini 还高那真的完全够用阿
152 天前
回复了 babyedi31996 创建的主题 程序员 本地部署大语言模型哪家强?
@neteroster 感谢佬的回复,如果 70B M3 Max 都只有 4-5t/s,那就完全没必要了,谢谢.
我本地不是为了性价比,主要是隐私和瑟瑟 AI 角色扮演那些玩法
152 天前
回复了 babyedi31996 创建的主题 程序员 本地部署大语言模型哪家强?
@iorilu AI 角色扮演阿,酒馆之类的,用好一点的本地模型,聊起来更真实阿
152 天前
回复了 babyedi31996 创建的主题 程序员 本地部署大语言模型哪家强?
@loading 没有没有,只是 AI 角色扮演聊天,最多就是 tts 出语音和 sd 生个表情图而已
152 天前
回复了 babyedi31996 创建的主题 程序员 本地部署大语言模型哪家强?
@adwords 买的有审查,不能好好的瑟瑟
152 天前
回复了 babyedi31996 创建的主题 程序员 本地部署大语言模型哪家强?
@rus4db 这位大佬,我之前就是用 gguf 的 13b 量化 5,只能说爆显存之后速度乌龟好惨...
152 天前
回复了 babyedi31996 创建的主题 程序员 本地部署大语言模型哪家强?
@iorilu 快事不可能有 GPU 快,但是起码能打开,而且肯定比 CPU 跑快呀,70b
152 天前
回复了 babyedi31996 创建的主题 程序员 本地部署大语言模型哪家强?
@shuimugan 4 个 2080ti 22g 整个巨物在家,不太合适啊.而且带宽是显卡的那个东西吗?请教下
152 天前
回复了 babyedi31996 创建的主题 程序员 本地部署大语言模型哪家强?
@lsearsea 4090 也就 24G 显存,够干啥的唉
152 天前
回复了 babyedi31996 创建的主题 程序员 本地部署大语言模型哪家强?
@fulajickhz 不是,这只是个客户端对接,不是本地部署模型阿
一步到位 immich,免费开源又稳定,AI 还能对接其他设备来运算.

我亲测使用几个月了,更新也很效率,也支持 live photo
152 天前
回复了 mogutouer 创建的主题 Apple AI 开发时代, APPLE MAC 落后了
@YooboH 不是什么从业者,深度学习的问题.玩家想本地跑 llm...现在的大模型都有审查,没法玩最好玩的部分阿
152 天前
回复了 mogutouer 创建的主题 Apple AI 开发时代, APPLE MAC 落后了
@mumbler 这几天新出的 M4 Mac Mini 有 64G 版本,17000 左右能上 64G 网 10Gb 的,有搞头吗?

能跑量化的 70b 吗
个人觉得这压根就不是什么高科技的东西,就是看谁舍得堆料和设计.
比如什么刷牙时间多少秒上颚,震动一下通知换边,有些还有显示屏,有灯来提醒.
我自己用过飞利浦和现在用的博朗,上千块感觉真的智商税...
下次坏了直接买个 2 3 百的国产的算了
162 天前
回复了 ValerioAlex084 创建的主题 NAS 兜兜转转一圈还是选择了 Immich 存照片了
@fenildf NAS 白群性能实在太弱了,黑群应该可以,但是没必要了
301 天前
回复了 HOMO114514 创建的主题 NAS Jellyfin 的客户端总结
看见很多人推 plex 终身版,我也买过.不到一年就不能用了.店家也跑路了
不知道是商家还是真能用这么久?
1  2  3  4  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5673 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 26ms · UTC 01:54 · PVG 09:54 · LAX 18:54 · JFK 21:54
Developed with CodeLauncher
♥ Do have faith in what you're doing.