V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
Variazioni
V2EX  ›  问与答

pgsql 数据同步至 elasticsearch 有什么轻量级的方案么

  •  
  •   Variazioni · 195 天前 · 820 次点击
    这是一个创建于 195 天前的主题,其中的信息可能已经有所发展或是发生改变。
    本来用的是 mysql ,canal 同步到 es 没啥问题。最近要求迁移到 pgsql ,研究了半天,似乎没有太好用的方案。
    pgsync 资料太少。要依赖 redis 。搞半天也没搞明白。
    debezium 需要另外装 kafka 。
    其他还有什么轻量级的方案么?
    6 条回复    2024-05-06 21:21:33 +08:00
    gabon
        1
    gabon  
       195 天前 via iPhone
    datax 应该是可以的,就是不知道满不满足你的轻量需求
    potatowish
        2
    potatowish  
       195 天前 via iPhone
    debezium 可以用嵌入式的引擎,不上 kafaka connect 也行。还可以试试 flink cdc ,直接用本地集群
    Variazioni
        3
    Variazioni  
    OP
       194 天前
    @gabon 需要实时同步。datax 好像做不到?
    Variazioni
        4
    Variazioni  
    OP
       194 天前
    @potatowish flink cdc 好像只支持到 es7 。我这边需要同步到 es8 ,很难受。
    debezium 使用嵌入式引擎同步到 es 有 demo 么?网上找了半天也没找到。
    potatowish
        5
    potatowish  
       187 天前 via iPhone
    @Variazioni es connector 支持 7.x 和更高版本,连接器用 elasticsearch-7 ,参考这个基于 table api 的 demo: https://nightlies.apache.org/flink/flink-cdc-docs-release-3.0/zh/docs/connectors/legacy-flink-cdc-sources/tutorials/build-streaming-etl-tutorial/
    Variazioni
        6
    Variazioni  
    OP
       187 天前
    @potatowish 感谢。flink cdc 挺好用的。就决定用它了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1142 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 23:36 · PVG 07:36 · LAX 15:36 · JFK 18:36
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.