首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  tclm  ›  全部回复第 1 页 / 共 2 页
回复总数  33
1  2  
❮ ❯
16 天前
回复了 shebaoting 创建的主题 › 分享发现 › 升斗小民聊聊国内比较正常的企业家有哪些？
不认同，我对所谓的企业家没任何好感。
26 天前
回复了 dabaibai 创建的主题 › 健康 › 老哥们有经历过输尿管结石（肾结石）吗
大概是十多年前了，得过一次输尿管结石，发作时极度疼痛，伴随想呕吐，彩超显示双肾都有结石，大小忘记了。
外地出差时发作的，挣扎着去医院做了超声波碎石，医生让多喝水，跳动。
回家后在当地结石病专科医院检查，彩超后告诉我要做无创介入手术。我又去省医院泌尿科检查，彩超后告知回家多喝水，多运动。
回家后 duangduang 灌水，后来有意识的排出过两颗结石，其他未知，直到现在，没复发过，不知道双肾中是否还有结石。
45 天前
回复了 ColdBird 创建的主题 › 生活 › 十一月不太友好，生病、失恋、裁员
有钱，没事，没责任，好好休息吧。
124 天前
回复了 pyyalt 创建的主题 › 生活 › [刚才居委打电话说叫我闲了去领一个出门提醒器]
疫情期间的开门提醒设备生产多了？清库存？
254 天前
回复了 yibo2018 创建的主题 › 职场话题 › 程序员深入了解保险行业一年多，带出的人生感悟
看的我目瞪口呆的，你真信了？！那祝你成功！
277 天前
回复了 heiya 创建的主题 › 程序员 › 对搭建 MinIO 对象存储的一些疑问
我以前采取的是 OSS+CDN 替换本地自建 MinIO ，主要带宽成本太高，而且容易成瓶颈，自己的运维硬件还要考虑容灾，多备，还不如全走云。
2024-12-08 16:24:17 +08:00
回复了 xiaohuq 创建的主题 › 奇思妙想 › 做了一个小说网站，不知道这个想法行不行？
肉身出去了？
2024-12-04 09:11:15 +08:00
回复了 DavidG 创建的主题 › 职场话题 › 失业半年，分享下人生低谷期
你这也没失业啊？！
2024-09-06 09:15:18 +08:00
回复了 izzy27 创建的主题 › 程序员 › 独立开发好做吗？
@ruobingm 叫私域
2024-07-04 11:02:46 +08:00
回复了 zzzyk 创建的主题 › 程序员 › 推荐个 mini 主机，开发用
正在用天钡 gem12 8845hs / 散热很好 / 家用场景下 WIFI 够用 / 正常使用没声音
2024-06-20 13:37:42 +08:00
回复了 qviqvi 创建的主题 › 数据库 › 两个线程一起从表中取数据，表和 sql 如何设计呢？
主键是数值吗？确定只有两个线程吗？
如果都是的话，一个线程只处理单数，一个线程只处理双数。
2024-05-30 10:30:35 +08:00
回复了 muxiaofei 创建的主题 › 职场话题 › 如果会大模型的多模态、调优，能找什么工作？ BOSS 直聘搜什么关键字呢？
我觉得吧，国内搞大模型除开那几家头部，可能是真下成本在搞。其他的都是套壳忽悠钱，他们不在乎你会做什么，在乎的是你的背景能不能帮他忽悠。
2024-05-15 17:39:33 +08:00
回复了 wxd21020 创建的主题 › Local LLM › 配置小主机跑大模型
@mkdirmushroom

嗯，感谢，那纯 CPU + 内存 进行 70B 模型推理还是很勉强的事情.
2024-05-11 17:02:53 +08:00
回复了 wxd21020 创建的主题 › Local LLM › 配置小主机跑大模型
@tclm
@mkdirmushroom

主要是推理效率，也不能太慢对吧，如果 CPU 跑不了 70B 的话，那内存的预算其实可以削减下来.
2024-05-11 16:59:11 +08:00
回复了 wxd21020 创建的主题 › Local LLM › 配置小主机跑大模型
@tclm
@mkdirmushroom

内存是 96G （ 48G 5600Hz * 2 ）

我主要担心的是 8845HS 在内存足够的情况下，处理器性能是否满足 70B 的推理要求。
2024-05-11 16:38:21 +08:00
回复了 wxd21020 创建的主题 › Local LLM › 配置小主机跑大模型
@mkdirmushroom

老哥，配的多少内存，我准备搞一台 8845HS （或 Utral5 125H ）+ 96G （ 48G 5800Hz * 2 ） 来跑 70B 的模型，只做本地推理，按你的经验，有搞头吗？
1  2  
❮ ❯
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2466 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 37ms · UTC 05:23 · PVG 13:23 · LAX 21:23 · JFK 00:23
♥ Do have faith in what you're doing.