V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  lookStupiToForce  ›  全部回复第 2 页 / 共 59 页
回复总数  1162
1  2  3  4  5  6  7  8  9  10 ... 59  
歪路子两个:
1.如果只求跑模型,作图或者 LLM ,有些便宜到可疑的专跑模型的 GPU 选择
不求模型的推理速度快,只求能装进 vram 而不是 load 到内存让 CPU 去跑
可选 GPU:
nvidia a2000 12G ,新卡软妹币 3500 左右
nvidia tesla m40/m60/p40...软妹币 500~1500 上下

除了 a2000 丽台还在产,后面的卡市场上鱼龙混杂,基本只能买到拆机卡或者矿卡,而且注意它们还没有视频输出口( a2000 有 minidp 口)

这些基本只能跑 ai ,不能拿来玩游戏,tesla 卡你还得备上大电源,再拿着专门的风扇/空调对着吹来压温度
反正价格低带来的是往死里折腾

2. 好 U 配大内存( 64G+ ram ),配张单卡 4060/4070ti 够用就行
因为就算是 llama3.1 70b 这种 39 个 G 的大模型,不降模型精度,单卡就算是 4090 照样不够用,堪称 a100 (软妹币 8W+)之下众生平等(但如果要双显卡,就还是上面 1.的话题了)
而模型一旦 load 一部分到内存,推理时 GPU 的闲置时间百分比直线上升,瓶颈都跑到 CPU 去了。
我之前测试过,llama3.1 70b 原始精度,在 64GB ddr4 3200MHz 内存加持下,cpu 11700K 可以跑出每秒 1.1 个左右的 token ,将就凑合玩儿。所以如果 CPU 好一些,甚至你上双 u 主板/服务器主板让更多的 u 一起跑,那么这种 70b 乃至更大一点的模型也能用( 3+token/s )。关键就是,内存要管够
97 天前
回复了 godruoyi 创建的主题 程序员 如何快速搭建自己的博客网站
感谢分享,挺好的,虽然不够一条 docker 命令那么快,但可以白嫖赛博善人的 worker
本来还想说一直持有拿着呗还能怎样
结果居然还有融资,还会爆仓
好似吔!

史上所有搞期货外汇搞杠杆梭哈最后想不开跳楼的,临行前一段都是这么个玩法
楼主你大概压的筹码还小,这点事捱一捱,撑死背个几年债就过去了呗

只能说人类的本质在这一刻真是全球相通
@sited #25 chrome v 127.0.6533.89
用的无任何插件的无痕模式依然是图片里那样的
站是好站,但审美有种上世纪维基百科的美...我直说了,丑到眼睛了!
你搞个极简的没有任何渐变背景和双色栏目的主体都行,现在这是啥啊!没开任何插件现在下面两图的效果,拉到页面底部更是没眼看
https://i.imgur.com/b8wI2zC.png https://i.imgur.com/NpFgdCt.png
你还是请个 UI 设计吧,国内平台找不到靠谱的就 upwork 、freelancer 上随便开个标都行......
113 天前
回复了 NoCash 创建的主题 职场话题 如何看待自带设备上班?
很正常
现在消费降级,资本居然还看上了工位经济,就是打工人自己给自己工位装修得小资又别致。搁以前这种赚钱效率低到离谱的市场资本看都不看一眼。

虽然我以前也大差不差,但我还是必须说,自备办公设备,自备咖啡茶水,自觉加班的,都是天选打(牛)工(马)人
120 天前
回复了 whats 创建的主题 问与答 RAG 怎么做才能有好的效果
偏个题
不知道有没有尝试过 mem0 ,说是要给 llm 加额外记忆层,不同于 RAG 技术
https://github.com/mem0ai/mem0
131 天前
回复了 roundRobin 创建的主题 程序员 论添加一行代码需要付出多少努力
@codehz #50 哈哈
请务必记住你现在对 AGI 的质疑🐶
131 天前
回复了 roundRobin 创建的主题 程序员 论添加一行代码需要付出多少努力
你对待这个变更的流程和态度是对的。

至于耗时费力,这其实暴露了 [现有的代码框架、工具、流程/你们使用的代码框架、工具、流程,无法很好地穿透单个变量的计算流程,以做到明晰化]

我以前就遇过这种问题,一个变量被引用来引用去,在各个类里继承来继承去,每次引用/继承还附带不知道多少道的转手解释或者过渡用计算。最后整个计算流程散落在 N 个人负责的不同子项目里,问谁谁都不懂这玩意儿咋来的,谁都不知道全局。
除非有完整经历以上所有过程的 code review 的总项目负责人,否则这就是个禁忌的薛定谔猫箱,谁都不敢打包票我输入进去啥,出来的对应玩意儿能按照我理解的概率可能来分布。

何解?
试想一下,现在有了 AI ,或者以后有了 AGI ,每次这种 引用+后继计算 时,都有一个 AI 来总结计算内容、计算逻辑、变量来源、变量边界条件、输入输出范围、输入输出意义,那么变成上面这种烂摊子的几率就会小很多
137 天前
回复了 DokiDokiSophon 创建的主题 健康 被确诊重度抑郁症状
高共情人士不要在任何没对你表现出共情(注意跟 PUA 区分开)的人身上浪费任何时间、精力、感情,你不要对他们做除了工作之外的任何付出,包括只听他们说哪怕一句话

合理放下对自我的道德要求和素质要求,在一堆缺德人士中间你也得同样享受缺德人生
1  2  3  4  5  6  7  8  9  10 ... 59  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2778 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 35ms · UTC 10:09 · PVG 18:09 · LAX 02:09 · JFK 05:09
Developed with CodeLauncher
♥ Do have faith in what you're doing.