V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
brant2ai
V2EX  ›  程序员

[实时数据] 现在实时数据处理,除了 Flink 以外,其他有什么比较好用的计算引擎或者架构

  •  1
     
  •   brant2ai · 2025 年 7 月 14 日 · 2530 次点击
    这是一个创建于 187 天前的主题,其中的信息可能已经有所发展或是发生改变。

    因为公司业务的原因,要处理比较多的物联数据。业主要求物联数据要能实时展示,并进行一定的复杂计算。 不想上 Flink 的原因: 1.Flink 太重了,一次就要上好多个节点,且业务是要交付到业主现场的,不可能派人盯着 Flink 的维护 2.Flink 有些场景下依旧不是特别好用,所以放弃 想问问有没有大牛介绍下比较好用的实时数据架构或者引擎的

    19 条回复    2025-07-16 10:20:02 +08:00
    zhenjiachen
        1
    zhenjiachen  
       2025 年 7 月 14 日
    直接把所有的 flink 依赖打包到 jar 里面,然后 java -jar 运行?
    bronyakaka
        2
    bronyakaka  
       2025 年 7 月 14 日
    感觉基本都是与 kafka 配套的
    bronyakaka
        3
    bronyakaka  
       2025 年 7 月 14 日
    Redis Streams 比较轻量
    chenquan
        4
    chenquan  
       2025 年 7 月 14 日
    我自己在写: https://github.com/arkflow-rs/arkflow ,毕竟轻量

    国外厂商开源的: https://www.arroyo.dev/
    chenquan
        5
    chenquan  
       2025 年 7 月 14 日
    毕竟轻量 -> 比较轻量
    yb2313
        6
    yb2313  
       2025 年 7 月 14 日
    用如果你的“复杂计算”大多是时间窗口内的聚合、分组、排序,ClickHouse 是非常合适的,并且部署也比 Flink 轻。
    lianhuayu420
        7
    lianhuayu420  
       2025 年 7 月 14 日
    rust 里有几个 像 https://github.com/ArroyoSystems/arroyo ,https://risingwave.com/ , 还有很多基于类 sql 的 ,https://siddhi.io/
    lianhuayu420
        8
    lianhuayu420  
       2025 年 7 月 14 日
    刚找了下 还有这个 https://www.fluvio.io/
    brant2ai
        9
    brant2ai  
    OP
       2025 年 7 月 14 日
    @yb2313 我的场景确实是需要窗口内聚合,但是窗口是不固定的。比如说开始时间是由物联内某个测点发出 1 ,结束也是这个测点发出 0 ,而实际指标是另外的测点来计算。这样就要求能动态获取,且能实时实现的
    padhhcbd
        10
    padhhcbd  
       2025 年 7 月 14 日
    Apache NiFi
    Rat3
        11
    Rat3  
       2025 年 7 月 14 日
    数据量要说下
    icchux
        12
    icchux  
       2025 年 7 月 14 日
    看你们的复杂计算多复杂了,如果只是实时但计算逻辑简单那可以接入到 ck 或者 doris 里面用 SQL 直出,但要涉及到状态计算,窗口很大的,一般都是上 flink
    cosen
        13
    cosen  
       2025 年 7 月 14 日
    可以考虑买云服务,不用自己维护集群
    brant2ai
        14
    brant2ai  
    OP
       2025 年 7 月 15 日
    日两千万这样
    brant2ai
        15
    brant2ai  
    OP
       2025 年 7 月 15 日
    @icchux 我现在的这套已经用了 doris 了。简单来说,不是单表或者维表可以出的计算
    brant2ai
        16
    brant2ai  
    OP
       2025 年 7 月 15 日
    @cosen 我们还是要以产品的形式去完成的,场景都是有服务器的,只是能提供给数据这边的服务器不多
    vvtf
        17
    vvtf  
       2025 年 7 月 15 日
    我们日~1 亿的数据,
    67 种规则,状态大小 500m,
    1 个 taskmanager, 2c4g,稳定运行.
    yuluoxinsheng
        18
    yuluoxinsheng  
       2025 年 7 月 15 日
    物联网可以考虑边缘计算。看看我这篇.
    https://juejin.cn/post/7508998028742737958
    runningman
        19
    runningman  
       2025 年 7 月 16 日
    flink 很重吗,还没研究很深
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2847 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 13:53 · PVG 21:53 · LAX 05:53 · JFK 08:53
    ♥ Do have faith in what you're doing.