V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
7911364440
V2EX  ›  程序员

关于 Flink 做数据传输的疑问

  •  
  •   7911364440 · 2023-06-09 10:18:09 +08:00 · 1422 次点击
    这是一个创建于 534 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前是要做一个数据传输服务,需要根据页面提交的配置将数据从一个数据源同步到另一个数据源。数据源可能是关系型数据库,也可能是消息队列,或者 Hive 。

    了解了下 Flink 发现有两种提交 job 的方式:

    • 将程序打包成 jar 文件提交给 flink 去执行
    • 以 flink run 的形式执行 flink sql

    疑问是客户端运行时要怎么根据配置信息动态生成 flink job ,并远程提交给 flink 去执行

    3 条回复    2023-06-09 12:53:49 +08:00
    wangyiyi10
        1
    wangyiyi10  
       2023-06-09 10:37:28 +08:00   ❤️ 1
    创建 remote env 。
    可以参考一下 Zeppelin 支持 Flink 的逻辑
    sijue
        2
    sijue  
       2023-06-09 11:52:58 +08:00
    Akka Actor System 通信系统了解一下
    ttskym
        3
    ttskym  
       2023-06-09 12:53:49 +08:00
    一条流里做,还是多条流做?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2890 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 08:59 · PVG 16:59 · LAX 00:59 · JFK 03:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.