V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Curiosity777
V2EX  ›  Java

请教一个不断增长的数据统计问题

  •  
  •   Curiosity777 · 227 天前 · 1013 次点击
    这是一个创建于 227 天前的主题,其中的信息可能已经有所发展或是发生改变。

    环境

    • 服务器配置 2c32 线程,128g 内存
    • Java8

    统计的方式如下

    id 当前值 累计值
    10 7.66 928.09
    9 6.56 920.43
    8 4.79 913.87
    7 6.23 909.88

    当前累计= 当前值 + 前一次累计

    目前表里 11w 数据,每天新增 1000 条 数据维度是 8 个公司 72 个矿 800 个工作面

    目前我的思路

    1. 按照工作面维度,要 800 个 sql
    2. 矿维度 72 个 sql
    3. 公司维度 8 个 sql

    我打算按照 8 个公司并发查询 8 个线程 按照 72 个矿并发计算,每个矿分配 2 个线程 但是数据量上来了,会越来越慢

    目前不考虑缓存计算结果,因为业务不稳定,早期数据一直会变,只考虑实施计算的方式,大佬们有好方法吗

    3 条回复    2024-04-10 19:51:56 +08:00
    MoYi123
        1
    MoYi123  
       227 天前   ❤️ 1
    矿是什么东西? 建议不要在问题里加上只有你知道的业务词汇.
    然后看了问题, 我也不知道你想要查什么, 怎么查.
    sujin190
        2
    sujin190  
       227 天前 via Android
    window 函数加 group by 不一下就查出来么
    wxf666
        3
    wxf666  
       225 天前
    你放一下表结构,和你当前怎么查数据的 SQL 呗。。

    11W 数据。。感觉 SQLite 单线程都能很快啊。。至于 8 线程么。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1009 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 22:22 · PVG 06:22 · LAX 14:22 · JFK 17:22
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.