推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 815 天前的主题，其中的信息可能已经有所发展或是发生改变。
大佬们问下 Python 多进程的问题
功能概述
发送一个请求 /task/create 开启了一个长耗时计算密集型任务。在这个任务运行的过程中，可以发送另一个请求 /task/close 来关闭这个任务。
需求
- 需要可以主动关闭这个任务
- 优化长耗时任务
目前的状况
用 flask 建立了一个项目，通过 Gunicorn + Gevent 在 centos7 上部署了服务（尚未通过 Nginx 走代理）。
问题
为了解决以上两个需求，我想通过多进程来实现，但是没有具体的实现方式。
- 需要有一个能实现的最简示例。
- 如果通过 Nginx 代理，Gunicorn 的 -w 参数还需要设置 cpu *2 +1 的数量吗
其他补充
用 Gunicorn 启动服务后，在 flask 的 路由函数里面开启了多进程(通过 ProcessPoolExecutor)，控制台会提示有些进程被忽略掉，而且有些进程没有运行，好像有些进程也被阻塞了。
然后看到 multiprocessing.Pool 可以直接 terminate 终止进程池，但是有个限制
注意 start() 、join() 、is_alive() 、terminate() 和 exitcode 方法只能由创建进程对象的进程调用。
 |
1
cyberpoint OP 对咯，这个服务用的 时候，不会用太多用户，一般就 三四人用户同时在用。
|
 |
2
Kobayashi 2022-08-31 18:38:57 +08:00 via Android
为什么不用 rq 或者 celery ？
|
|
3
Kobayashi 2022-08-31 18:43:01 +08:00 via Android
实现不了。
|
|
4
cyberpoint OP @Kobayashi 感谢，我也是刚刚接触 Python ，处于边学边用的状态。我去看看你说的 rq 和 celery 话说推荐用其中哪个呢。
|
 |
5
svtter 2022-08-31 19:45:57 +08:00
长耗时任务，应该用异步跑。
|
|
6
cyberpoint OP @svtter 是指 asyncio 吗。 这个应该不适合我这里。我这个 是计算密集型
|
 |
7
LindsayZhou 2022-08-31 20:23:08 +08:00
@cyberpoint #6
asyncio 可以用多线程跑： https://docs.python.org/3/library/asyncio-task.html#running-in-threads 然后还有个 Task 类可以用来管理 Coroutines 的生命周期： https://docs.python.org/3/library/asyncio-task.html#task-object 我只是看到过，没用过，只能帮你把文档找出来 |
 |
8
ch2 2022-08-31 20:23:41 +08:00
这种需求，应该用消息队列来做，多进程做起来耦合挺严重的
|
 |
9
huangzhiyia 2022-08-31 20:26:36 +08:00 via Android
用 celery +redis 吧，符合你所有需求。
|
 |
10
raycool 2022-08-31 20:30:40 +08:00
这种可以使用 tornado + redis + concurrent.futures.ProcessPoolExecutor 来做
|
 |
11
elboble 2022-08-31 20:53:48 +08:00 via Android
Celery 吧，应该比较合适
|
|
12
LindsayZhou 2022-08-31 20:58:00 +08:00
|
|
13
svtter 2022-08-31 21:20:40 +08:00
1. 异步任务是那些被引擎放在一边，不进入主线程、而进入任务队列的任务。
2. 任务队列可以用 celery + redis 来做。 3. WEB 应用系统是负责接收前端请求，并进行简单处理的软件系统。 4. 计算型的程序逻辑，应根据对算力的要求，另外开启进程或者采用另外的服务器来做。 |
|
14
svtter 2022-08-31 21:23:02 +08:00
5. 使用 celery 的话，celery worker 就是`另外的进程`
6. celery worker 如果不在本机，就是`另外的服务器` |
 |
15
lambdaq 2022-08-31 21:25:03 +08:00
就问一个简单问题，如果 2 个机器跑你这个 web 服务
A 机器执行了 /task/create 开始多进程 B 机器接到了 /task/close 怎么办？ |
 |
16
imycc 2022-08-31 21:33:07 +08:00
gunicorn 只负责做接收 web 请求，计算任务通过 celery 的 worker 去执行，去看看 celery 的官网教程就好。中间消息传递的部分，需要用消息队列或者 redis （ mysql 其实也行）
至于停止任务，可以用 celery 的[revoke 方法]( https://docs.celeryq.dev/en/stable/userguide/workers.html#revoke-revoking-tasks) 创建任务之后会得到一个 task_id ，存起来或者返回给前端。然后用这个 task_id 取消掉任务就行。 但杀掉正在运行的进程，只对 prefork 和 eventlet 类型的 worker 有效，因为线程和协程没法单独杀掉。如果你用线程 /协程创建的 worker ，需要引入额外的机制，让他们每隔一段时间就检查外部的标志位，判断是否要继续运行。 |
 |
17
ospider 2022-08-31 22:30:29 +08:00
千万别用 celery ，bug 一大堆，坑你没商量。自己拿 redis 封装个消息队列很简单的，别想太复杂。
|
 |
18
subjadeites 2022-09-03 12:01:11 +08:00 via Android
土一点甚至可以把计算部分单独封一个入口，然后调命令启动获取 pid ，在 redis 里存 task 标识符和 pid ，收到 close 直接 kill(
|
Select Language