V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Curiosity777
V2EX  ›  Java

请教关于 flink 任务的问题

  •  
  •   Curiosity777 · 16 小时 28 分钟前 · 290 次点击
    1. 刚入门 flink ,目前测试了单机部署,发现集群重启后,提交的任务都丢失了,想要恢复任务的话,需要手动指定 savepoint ,请问大佬们,flink 任务能持久化么,如果集群意外重启了,能否自动从 checkpoint 恢复任务呢。

    2. 是不是 flink 本身不支持这种功能,需要靠三方软件来实现呢

    2 条回复    2025-01-17 18:03:03 +08:00
    smartruid
        1
    smartruid  
       15 小时 47 分钟前
    集群挂了没法自动恢复 job
    liprais
        2
    liprais  
       15 小时 39 分钟前
    用 resource provider (k8s /yarn )都行,再加上 jobmanager ha,基本能扛住节点意外重启的问题
    集群挂了老天爷来了也没用
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2646 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 18ms · UTC 01:42 · PVG 09:42 · LAX 17:42 · JFK 20:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.