V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
qazwsxkevin
V2EX  ›  Python

需要对队列的一些增强操作,有没有容易上手的现成增强轮子可一“借”?(Python3.6)

  •  
  •   qazwsxkevin · 2020-09-13 13:54:27 +08:00 · 1429 次点击
    这是一个创建于 1534 天前的主题,其中的信息可能已经有所发展或是发生改变。

    代码完成得 7788,忽然才意识到中间环节需要增加一些操作,与其它任务来源对接上,
    并把合乎条件的作为任务加入到 while not myQueen.empty()队列里,
    才发现: 很难从来源方面做防任务重复
    只能对现在的队列动手处理,才发现 queen.Queen()在这方面比较弱,也想不到什么不折腾算法(似乎队列不进行全部任务.get()出来做一次历遍,也不知道谁是重复的)
    想问问大家是怎么做的?

    5 条回复    2020-09-13 22:03:13 +08:00
    wuwukai007
        1
    wuwukai007  
       2020-09-13 15:21:45 +08:00 via Android   ❤️ 1
    huey
    JerryCha
        2
    JerryCha  
       2020-09-13 15:23:09 +08:00
    自己维护一个 set,在入队列之前过一遍 set ?
    qazwsxkevin
        3
    qazwsxkevin  
    OP
       2020-09-13 15:46:42 +08:00
    @wuwukai007 了解 ing...,谢谢哦~

    @JerryCha task 单体是一个字典,各 k,v 承载了任务所需的内容,但可以用其中一组 k,v 作为唯一的标识,根据标识是否保留,理想的结果是:如果 k,v 键值对内容比较多的,完全可以替换掉队列里 k,v 比较少的任务(传更多内容,更方便任务的完成,这个目前还未找到办法做到),想了一下,用 set 的特性,似乎不太适合这样的场合...
    imn1
        4
    imn1  
       2020-09-13 16:06:26 +08:00
    不知道 huey,我也要去看看

    #2 也不是不可以,两个 set,一个记录队列,如果有唯一标识二次加入队列,就在第二个 set 记录,作为 filter,get 的时候检查,如果同时在两个 set,就跳过并在 filter 去掉,那么第二次 get 检查就不会同时出现在两个 set 了
    不过这是笨办法,如果三次、四次加入,逻辑就复杂了,遇上协程、多线程就更麻烦
    nonduality
        5
    nonduality  
       2020-09-13 22:03:13 +08:00
    目前正在用 huey,从 celery 迁移过来的,比较轻量级,内存消耗比较小。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1169 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 18:36 · PVG 02:36 · LAX 10:36 · JFK 13:36
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.