通过消费 kafka 中的 mysql binlog 同步数据，有没有好的办法可以进行 join？ join 的两个表的变更不一定在一个时间窗口内
lllnever · 2021-12-08 14:09:59 +08:00 · 1215 次点击这是一个创建于 1083 天前的主题，其中的信息可能已经有所发展或是发生改变。
 |
1
lllnever OP 初步的想法是在 sink 数据库建立单表，再查询单表进行聚合，但是会建立非常多的单表，而且逻辑也比较复杂
|
 |
2
SbloodyS 2021-12-08 15:07:29 +08:00
flink 双流 join
|
|
3
lllnever OP @SbloodyS 之前也大概看过 flink 的 join ，因为时间窗口不能满足需求，常规 join 的话资源消耗可能太大了
https://nightlies.apache.org/flink/flink-docs-release-1.12/zh/dev/table/streaming/joins.html#%E5%B8%B8%E8%A7%84-join |
|
4
SbloodyS 2021-12-08 15:49:36 +08:00
这种需求本身就是成本和性能不可兼顾的，要不堆机器，要不就慢
|
Select Language