V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
matepi
V2EX  ›  开源软件

分布式服务器的框架下,自动分配多台服务器分别完成执行一批任务,并考虑高可用与失败换服务器再执行,类似设计如何最优雅

  •  
  •   matepi · 2023-06-16 09:02:02 +08:00 · 975 次点击
    这是一个创建于 526 天前的主题,其中的信息可能已经有所发展或是发生改变。
    各种的做法,好多好多;然后公司里面自己也发明了好多

    1 、用 Quartz 集群模式;但缺点是数据库得加一堆表
    2 、redis 加锁并超时;可以处理超时情况,但得设施 /技术栈上就得额外引入 redis
    3 、数据库建立任务表,任务记录加锁;但得自己处理超时中断、任务换手到其他服务器执行等等策略
    4 、zookeeper 取锁;类似于 redis
    5 、数据库建立专表,直接锁表取锁;类似于任务表,但执行粒度更粗

    等等等等,为啥这种基本大家都会有的需求,没有业界事实标准性的统一轮子呢…
    2 条回复    2023-06-16 14:58:46 +08:00
    Aumujun
        1
    Aumujun  
       2023-06-16 09:26:07 +08:00
    hadoop 那一套
    matepi
        2
    matepi  
    OP
       2023-06-16 14:58:46 +08:00
    @Aumujun hadoop 那套是指 mr 找 datanode 那一套?但很多的场景其实也不是这么复杂的大数据处理场景。只是类似需要一个分布式系统里面,找个节点去执行个和第三方 api 做个连接,取一些业务参数更新到本地数据库之类的事情。很简单的任务,但要保证高可用和超时失败重做等要求。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1926 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 16:16 · PVG 00:16 · LAX 08:16 · JFK 11:16
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.