V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
nightstart
V2EX  ›  问与答

Celery 配 redis 遇到任务丢失的问题

  •  
  •   nightstart · 2018-04-22 21:24:44 +08:00 · 3943 次点击
    这是一个创建于 2396 天前的主题,其中的信息可能已经有所发展或是发生改变。

    环境 Linux Python3 Celery Redis 作为 broker 和 backend 我在代码里面用的是 task.delay()的方式传参数

    然后在 task.delay()前面加了打印的日志 然后日志明明收到了两次 但是 celery 里面只执行了一次 请问一下这是为什么啊

    顺便 各位 celery 的 daemon 都是拿什么跑的 除了 supervisor 以外 顺便 celery 的任务发布 broker 用的是 redis、 那是不是发布任务的时候要往 redis 的 list 里面插入相应的数据 那这个 list 的名字又是什么呢

    如果 task 还没用 celery 的方式执行、task.delay()还会起作用吗

    6 条回复    2018-08-04 03:04:22 +08:00
    param
        1
    param  
       2018-04-23 01:45:22 +08:00 via Android
    celery 的进程有没有重启过?用 Redis 作 broker 的话,任务会存在内存里面,如果 celery 进程要结束了,就会在临死之前把队列存进 Redis,下次启动时再从 Redis 读取。这种情况下,当 celery 被 kill -9 了,任务将无法存进 Redis,内存中的任务会丢失,另外,定时任务量太多会消耗内存资源。所以我换 rabbit mq 了,毕竟 rabbit mq 本来就是消息队列。
    julyclyde
        2
    julyclyde  
       2018-04-23 08:33:19 +08:00
    我觉得 lz 语言能力比较差
    还是贴代码吧

    不知道你所谓“在 task.delay()前面加了打印的日志 然后日志明明收到了两次”具体是怎样的
    nightstart
        3
    nightstart  
    OP
       2018-04-25 07:54:13 +08:00
    @julyclyde 抱歉抱歉 就是在调用 task.delay 之前 我打印了 before task_delay.... 这样的日志。 调用两次之后日志文件里面会收到两次这样的日志信息 但是 celery 里面只有一个任务在执行....
    julyclyde
        4
    julyclyde  
       2018-04-25 17:08:49 +08:00
    @nightstart 另一个是不是执行完毕了呢?
    lauix
        5
    lauix  
       2018-07-31 13:32:03 +08:00
    @param @nightstart
    同遇到这种问题,数据量少的时候没发现,现在数据量任务很大。
    采用 redis 经常丢失任务。求问怎么解决的?
    换 rabbit mq ???
    param
        6
    param  
       2018-08-04 03:04:22 +08:00 via Android
    @lauix 对的,celery 还是用 rabbitMQ 作 broker 比较好
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1049 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 45ms · UTC 20:11 · PVG 04:11 · LAX 12:11 · JFK 15:11
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.