V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
x2ve
V2EX  ›  问与答

问一个增量数据同步的问题。

  •  
  •   x2ve · 2020-11-15 09:20:11 +08:00 via iPhone · 742 次点击
    这是一个创建于 1481 天前的主题,其中的信息可能已经有所发展或是发生改变。
    表 t_a 有 a,b,c,a_gxsj 四个字段,表 t_b 有 a,b,d,b_gxsj 四个字段,这两个表都是业务表。

    然后要把 t_a 和 t_b 关联后的数据同步到表 t_c 中来,t_c 包含了两个表的所有字段。

    现在有个问题是,t_a 更新了,但 t_b 未更新,t_b 更新了 t_a 未更新,也可能两者都同时更新了。

    那么用 etl 工具怎么操作保证 t_c 数据跟业务库保持一致?
    我目前的方法是单独同步 t_a 和 t_b,然后 t_c 是两者合并后的视图,但是要求是表,没头绪了😂
    1 条回复    2020-11-16 09:24:35 +08:00
    mikicomo
        1
    mikicomo  
       2020-11-16 09:24:35 +08:00 via Android
    我们之前是用 binlog 日志做的,性能也算是不错
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5979 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 42ms · UTC 02:14 · PVG 10:14 · LAX 18:14 · JFK 21:14
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.