V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
xiaoshu
V2EX  ›  程序员

[万字长文] 效率就是一切:并行计算如何重塑 AI 训练与现代应用

  •  
  •   xiaoshu · 1 天前 · 1035 次点击

    overview

    这三个看似无关的问题,背后藏着同一条主线:无状态 → 并行计算

    本文分三部分:

    1. 并行已经重塑了什么——云计算和 AI 训练的成熟实践
    2. 推理为什么还是串行的——自回归生成和思维链到底是怎么回事
    3. 推理并行化的探索方向——从学术思路到前沿框架

    overview

    overview

    ...

    从云计算到 AI 推理,一文看懂并行计算的底层逻辑

    👉 《效率就是一切:并行计算如何重塑 AI 训练与现代应用》


    从云计算到 AI 训练,从游戏架构到智能工作流,**"解耦"与"并行"的思维模式**正在改变整个技术世界。

    这不仅是 AI 时代的效率密码,更是构建一切可扩展系统的底层逻辑。

    在微信支付的复盘中,一个影响开发效率十分高频的词就是**"等待"**。

    想想你手头最慢的那段流程——不管是写代码、写文档、做运营,还是其他什么——慢在"计算",还是慢在"等待别人/等待上一步"?你能把哪一段改成自包含?


    并行的本质不是"同时做很多事",而是"让每件事都不需要等别人"。

    无状态不是没有状态,而是把状态交给别人保管,自己轻装上阵。

    自包含是解耦的终极形态:我只需要知道"做什么",不需要知道"来龙去脉"。

    第 1 条附言  ·  1 天前

    这篇文章是我基于阅读的书和论文,自己的理解,可能有误。 欢迎大家指出,一块学习!

    也可以公众号留言,我能及时看到

    14 条回复    2025-12-27 22:04:18 +08:00
    rogerer
        1
    rogerer  
       1 天前
    不是这样理解的吧...

    这里混淆了好几个概念
    sillydaddy
        2
    sillydaddy  
       1 天前
    感谢 OP 分享。给我提供了一个自媒体素材。
    另外,solana 的底层链,是不是也是类似的原理,可以把它作为“依赖图”这一节的一个例子。
    nakun233
        3
    nakun233  
       1 天前
    看到王者荣耀的分区原因就不想看了。。
    xiaoshu
        4
    xiaoshu  
    OP
       1 天前
    @rogerer 可以指出错误哈 这篇文章是我基于书和论文自己的理解,可能有误
    xiaoshu
        5
    xiaoshu  
    OP
       1 天前
    @nakun233 为什么呢?难道不是这个原因吗
    xiaoshu
        6
    xiaoshu  
    OP
       1 天前
    @sillydaddy 你这样一说 感觉也对。
    虽然学过区块链,竟没想到。hash tree 每个块通过摘要,就是可以让你不依赖其他块来确认完整性。
    xiaoshu
        7
    xiaoshu  
    OP
       1 天前
    @sillydaddy 但是在公众号还是尽量不拿 区块链 举例,
    上次在腾讯云官号直播,提了一嘴区块链,导致连直播回放都生成不了了 😂
    sillydaddy
        8
    sillydaddy  
       1 天前
    @xiaoshu 我说的是 Solana 链底层的共识机制,也是并行的,对比之下 Bitcoin 的共识是串行的。
    “Solana 的智能合约执行引擎叫 Sealevel ,它能做到同一时间执行大量交易,前提是:这些交易访问的账户不冲突。
    “如果交易 A 是在买 NFT ,而交易 B 是在进行转账,它们访问的是完全不同的账户,那么 Solana 会利用 CPU 的多核心,同时处理这两笔交易,而不是排队。”
    xiaoshu
        9
    xiaoshu  
    OP
       1 天前 via iPhone
    @sillydaddy 学到了👍
    sillydaddy
        10
    sillydaddy  
       1 天前
    @xiaoshu 我只是大概知道,引号里面是问的 AI 。另外,我刚注意到你在#7 楼提到的直播回放,这审查也太严格了吧,那还是不提也好。
    YsHaNg
        11
    YsHaNg  
       1 天前 via iPhone
    只能看到这一篇 别的要跳转打开微信看不了
    xiaoshu
        12
    xiaoshu  
    OP
       13 小时 3 分钟前 via iPhone
    @YsHaNg 小红书也有哈
    xiaoshu
        13
    xiaoshu  
    OP
       13 小时 3 分钟前 via iPhone
    @YsHaNg 点我头像
    dongruixuan
        14
    dongruixuan  
       38 分钟前
    @xiaoshu 对局内,玩家状态的同步边界只在那局游戏的 10 个人房间里,完全可以按照房间维度扩容。对局外的状态和传统 web 服务无异。同一大区(微 Q 安卓 iOS )内的小分区我猜是历史遗留原因,大区应该就是利益原因( iOS IAP/安卓渠道服有抽成,安卓官方版无抽成等等)。
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2721 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 14:42 · PVG 22:42 · LAX 06:42 · JFK 09:42
    ♥ Do have faith in what you're doing.