ranley123 最近的时间轴更新
ranley123

ranley123

V2EX 第 608115 号会员,加入于 2022-12-27 20:05:46 +08:00
今日活跃度排名 18160
ranley123 最近回复了
还有高并发下的推理调度策略等等,所涉及的工程技术非常多,我只是举个例子。也许现在你们做的 agent 或者还在小公司,觉得杀鸡焉用牛刀。但是多提前储备,跳槽到大公司会非常有用。
总结一下:
学历好:从基础技术出发,直接走训练或推理框架。
学历普通:从 agent 出发,向推理优化学习。如后训练微调技术,推理时长背景的语义压缩,kv cache 技术,etc 。之后一定是大模型的应用时代,如何推理得更便宜,更快, 一定是 agent 和应用工程师应该学习的东西
@jiangbingo 可以看下我最新的一条,如果是普通学历做 agent ,可以往推理技术靠靠
@BlAO 其实做 agent 也可以努力往推理靠靠,如何做到推理更快,需要的内存更少也是技术活,因为这个就需要你主动学习类似 kvcache 之类的技术,一点一点往大模型推理浸透,这样也属于加强了个人技术壁垒和业务深度,跟普通做做 agent 有本质区别。
@BlAO 其他方向说实话今年开始要求也非常高了,除了要求对应的基础架构非常专业,也需要对 LLM 有了解。但是还是比核心算法的要求没有那么逆天,不过至少都要 985 本了,top2 本博也很常见
@richarddingcn 框架基本不用想了,现在只有清北博士级别和妖孽硕士的才能进。其他的就按照正常的基础架构+LLM 知识学习找点实习吧
@richarddingcn 不止算子了,infra 包括高端的并行训练框架,算子优化,还有一系列分布式稳定性框架,LLM 故障检测和处理,LLM 存储 hdfs 优化和网络 NCCL 啥的,一大堆
或者自己写写 ai agent 以后找 agent 工作
@jiangbingo 外企大厂该不会是 ms 吧哈哈,如果是的话那就是前同事了。我觉得你可以学习一下大模型的原理,比如 transformer 和 attention 之类的,甚至包括一些推理的框架基本知识 kv cache 之类的,如果对训练感兴趣的话可以看看并行训练的基本框架,不过会比较困难。
@jiangbingo 是的,我赞同你的观点。所以新时代多往 AI 和大模型靠靠,是能够延长的,甚至还有机会远程。个人经验也是如此。自从我入了 LLM infra ,至少前景和钱景上都得到了爆炸式提升
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   869 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 18ms · UTC 22:43 · PVG 06:43 · LAX 14:43 · JFK 17:43
♥ Do have faith in what you're doing.