请问有没有这样一种 Python 的流式处理框架？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 1719 天前的主题，其中的信息可能已经有所发展或是发生改变。

用不到大数据分布式那些框架，想问下有没有类似的框架满足下面一些需求

从输入到输出整个流程划分为若干个模块，希望能：

1、输入可以支持文件或监听消息队列

2、设置每个模块的并发数

3、模块间的数据通过消息队列传递

4、模块间不一定是顺序执行，支持 DAG 图

上面是一些基本需求，下面是额外的一些功能

5、日志和异常捕获

6、监控是否有堆积情况

我自己有实现这样一套东西，主要依赖 multiprocessing 包，但是有很多 hardcode 的地方，这类流程多了之后很不方便维护，所以来请教下是否有类似的框架？

7 条回复 • 2020-02-26 11:00:26 +08:00

bnm965321

2020-02-25 16:19:52 +08:00

airflow

xjx0524

2020-02-25 16:51:53 +08:00

@bnm965321 感谢回复，看了下 airflow 主要是基于时间的调度框架？以它的概念来说的话，应该是不断的去调度执行 DAG，但我需要的是启动一个 DAG 之后，里面的每个 task 都一直在运行，不断的消费上游 task 传过来的数据，直到接收停止命令

TypeError

2020-02-25 16:52:47 +08:00

ipwx

2020-02-25 16:55:27 +08:00

听上去像是 apache 那一套的场景。你去看看 spark，flink，kafka 之类的

xjx0524

2020-02-25 17:24:39 +08:00

@TypeError 这个东西有点意思，我研究一下，感谢

@ipwx apache 那一套太重了，我只需要单机执行一些流程任务（捂脸哭）

xjx0524

2020-02-26 10:21:44 +08:00

@TypeError 看了文档还是没有很直观的认识，想问下有没有比较好的使用了 faust 的开源项目呢？

TypeError

2020-02-26 11:00:26 +08:00

@xjx0524 #6 我也没关注，它这个项目是类似 Kafka streams 的，用法和使用场景是一致的