ranley123 最近的时间轴更新 ranley123 最近的时间轴更新 |
ranley123V2EX 第 608115 号会员，加入于 2022-12-27 20:05:46 +08:00今日活跃度排名 18160 |
| 自荐一下我的视频：让每个程序员都能英语技术面试 程序员 • ranley123 • 2023-09-11 01:06:51 AM • 最后回复来自 ranley123 | 8 |
ranley123 最近回复了
6 天前 回复了 jiangbingo 创建的主题 › 程序员 › 作为后端开发工程师，你们有中途转向机器学习/深度学习的吗？ |
还有高并发下的推理调度策略等等，所涉及的工程技术非常多，我只是举个例子。也许现在你们做的 agent 或者还在小公司，觉得杀鸡焉用牛刀。但是多提前储备，跳槽到大公司会非常有用。
6 天前 回复了 jiangbingo 创建的主题 › 程序员 › 作为后端开发工程师，你们有中途转向机器学习/深度学习的吗？ |
总结一下：
学历好：从基础技术出发，直接走训练或推理框架。
学历普通：从 agent 出发，向推理优化学习。如后训练微调技术，推理时长背景的语义压缩，kv cache 技术，etc 。之后一定是大模型的应用时代，如何推理得更便宜，更快, 一定是 agent 和应用工程师应该学习的东西
学历好：从基础技术出发，直接走训练或推理框架。
学历普通：从 agent 出发，向推理优化学习。如后训练微调技术，推理时长背景的语义压缩，kv cache 技术，etc 。之后一定是大模型的应用时代，如何推理得更便宜，更快, 一定是 agent 和应用工程师应该学习的东西
6 天前 回复了 jiangbingo 创建的主题 › 程序员 › 作为后端开发工程师，你们有中途转向机器学习/深度学习的吗？ |
@jiangbingo 可以看下我最新的一条，如果是普通学历做 agent ，可以往推理技术靠靠
6 天前 回复了 jiangbingo 创建的主题 › 程序员 › 作为后端开发工程师，你们有中途转向机器学习/深度学习的吗？ |
@BlAO 其实做 agent 也可以努力往推理靠靠,如何做到推理更快，需要的内存更少也是技术活，因为这个就需要你主动学习类似 kvcache 之类的技术，一点一点往大模型推理浸透，这样也属于加强了个人技术壁垒和业务深度，跟普通做做 agent 有本质区别。
10 天前 回复了 jiangbingo 创建的主题 › 程序员 › 作为后端开发工程师，你们有中途转向机器学习/深度学习的吗？ |
@BlAO 其他方向说实话今年开始要求也非常高了，除了要求对应的基础架构非常专业，也需要对 LLM 有了解。但是还是比核心算法的要求没有那么逆天，不过至少都要 985 本了，top2 本博也很常见
12 天前 回复了 jiangbingo 创建的主题 › 程序员 › 作为后端开发工程师，你们有中途转向机器学习/深度学习的吗？ |
@richarddingcn 框架基本不用想了，现在只有清北博士级别和妖孽硕士的才能进。其他的就按照正常的基础架构+LLM 知识学习找点实习吧
12 天前 回复了 jiangbingo 创建的主题 › 程序员 › 作为后端开发工程师，你们有中途转向机器学习/深度学习的吗？ |
@richarddingcn 不止算子了，infra 包括高端的并行训练框架，算子优化，还有一系列分布式稳定性框架，LLM 故障检测和处理，LLM 存储 hdfs 优化和网络 NCCL 啥的，一大堆
12 天前 回复了 jiangbingo 创建的主题 › 程序员 › 作为后端开发工程师，你们有中途转向机器学习/深度学习的吗？ |
或者自己写写 ai agent 以后找 agent 工作
12 天前 回复了 jiangbingo 创建的主题 › 程序员 › 作为后端开发工程师，你们有中途转向机器学习/深度学习的吗？ |
@jiangbingo 外企大厂该不会是 ms 吧哈哈，如果是的话那就是前同事了。我觉得你可以学习一下大模型的原理，比如 transformer 和 attention 之类的，甚至包括一些推理的框架基本知识 kv cache 之类的，如果对训练感兴趣的话可以看看并行训练的基本框架，不过会比较困难。
12 天前 回复了 jiangbingo 创建的主题 › 程序员 › 作为后端开发工程师，你们有中途转向机器学习/深度学习的吗？ |
@jiangbingo 是的，我赞同你的观点。所以新时代多往 AI 和大模型靠靠，是能够延长的，甚至还有机会远程。个人经验也是如此。自从我入了 LLM infra ，至少前景和钱景上都得到了爆炸式提升
Select Language