就是一个爬虫用,抓了数据进管道,然后另一端清洗归类存 SQL。 但抓的东西会分类,有没有可以分类,可以像 KAFKA 那样搞好几个主题分类,不同的数据进不同的管道,另一端也是不同的处理类模块接收处理?
其实 kafka 看上去极好,就是这种要单独运行一个服务的东西,真的不喜欢,又不是多大的项目,没必要啊。
1
feverzsj 2018-11-24 23:23:52 +08:00
你建个表做消息队列不就好了
|
2
fsneak 2018-11-24 23:28:41 +08:00 via Android 1
用 Redis 的 channel,够轻量吧
|
3
ericls 2018-11-24 23:32:53 +08:00 via iPhone
Elixir/Erlang 自带的消息?
|
4
julyclyde 2018-11-25 08:45:34 +08:00
抗拒“独立运行一个服务”
试试 zeromq ? |
5
CodeCore 2018-11-25 12:06:29 +08:00 via iPhone
NSQ,NATS,推荐用有赞自己 Fork 的 NSQ。。。
|
7
endoffight 2018-11-25 12:31:09 +08:00 via Android
beanstalk
|
8
BingoXuan 2018-11-25 20:04:57 +08:00
zmq ?
|