V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
zk123
V2EX  ›  程序员

十亿级数据报表,选用什么数据库查询比较快

  •  
  •   zk123 ·
    zk-123 · 2020 年 11 月 19 日 · 6249 次点击
    这是一个创建于 1885 天前的主题,其中的信息可能已经有所发展或是发生改变。

    请问各位 v 友们,数据量每日增长约 300w,要做报表,在十亿级别的数据量里,要想查询速度在 2s 内返回,用什么数据库存储查询比较快?

    (最好单表或不需要自己做额外业务,可以加索引,插入更新慢不要紧,查询快就好。)

    28 条回复    2023-01-14 11:02:42 +08:00
    shakeyo
        1
    shakeyo  
       2020 年 11 月 19 日
    mysql+异步队列计算足够简单足够满足需求了
    qiayue
        2
    qiayue  
    PRO
       2020 年 11 月 19 日   ❤️ 2
    ClickHouse
    opengps
        3
    opengps  
       2020 年 11 月 19 日
    这主要得看你的查询条件,我当年把 gps 坐标轨迹,压缩到只允许 2 个查询结构,15 亿行里分了 31 个区,秒查三天轨迹
    另外,硬盘介质一定要快,尽可能用好的 ssd
    chiva
        4
    chiva  
       2020 年 11 月 19 日 via iPhone
    单查询 mysql 完全满足啊
    nuk
        5
    nuk  
       2020 年 11 月 19 日
    有索引基本都秒查吧,唯一要担心的就是你的 index 塞不进内存。
    lasuar
        6
    lasuar  
       2020 年 11 月 19 日
    ck #2
    Wincer
        7
    Wincer  
       2020 年 11 月 19 日
    clickhouse,非常适合 olap,我们最大的一张表有 600 亿的数据。
    wangyanrui
        8
    wangyanrui  
       2020 年 11 月 19 日 via Android   ❤️ 1
    看查询条件是什么样子,不然没法下定论
    zk123
        9
    zk123  
    OP
       2020 年 11 月 19 日
    @opengps @wangyanrui 主要聚合统计偏多
    qiayue
        10
    qiayue  
    PRO
       2020 年 11 月 19 日
    不用选了,上 ClickHouse 吧,CH 就是为这个需求而生的
    vincent7245
        11
    vincent7245  
       2020 年 11 月 19 日
    要看你的业务了,如果是统计需求比较多可以考虑大数据技术栈
    samuel
        12
    samuel  
       2020 年 11 月 19 日
    ClickHouse
    lucyplay
        13
    lucyplay  
       2020 年 11 月 19 日
    ck
    lixintcwdsg
        14
    lixintcwdsg  
       2020 年 11 月 19 日
    clickhouse 解决你的所有问题
    yangqingrong
        15
    yangqingrong  
       2020 年 11 月 19 日 via Android   ❤️ 1
    mycat
    inwar
        16
    inwar  
       2020 年 11 月 19 日 via Android
    Ck 或者 es
    hangszhang
        17
    hangszhang  
       2020 年 11 月 19 日
    统计需求多 mysql 肯定不行, clickhouse 吧
    yangzh
        18
    yangzh  
       2020 年 11 月 19 日 via iPhone
    clickhouse?
    rapperx2
        19
    rapperx2  
       2020 年 11 月 20 日
    clickhouse +1
    Cowhitewhite
        20
    Cowhitewhite  
       2020 年 11 月 20 日
    vertica ?
    NillSpake
        21
    NillSpake  
       2020 年 11 月 20 日
    clickhouse +1
    IDAEngine
        22
    IDAEngine  
       2020 年 11 月 20 日 via iPhone
    clickhouse +1
    superman2
        23
    superman2  
       2020 年 11 月 20 日
    回复这么多 clickhouse,现在 clickhouse 有这么火吗?你们有谁都用在生产上面了
    superman2
        24
    superman2  
       2020 年 11 月 20 日
    @yangqingrong 好久没有在头条上见到你了
    oneoyn
        25
    oneoyn  
       2020 年 11 月 20 日
    分布式数据库 mycat
    zk123
        26
    zk123  
    OP
       2020 年 12 月 20 日
    感谢大家的建议,clickhouse 很不错,但是支持 ClickHouse 的云平台只有阿里云,而且价格太贵,自己搭一套运维成本太高,纯报表的聚合使用 clickhouse 性价比太低。最终使用了 MongoDB,多维度分表的方式。
    zk123
        27
    zk123  
    OP
       2021 年 5 月 20 日
    后又换成了 Clickhouse
    L0L
        28
    L0L  
       2023 年 1 月 14 日
    @zk123 补个楼,老哥 Clickhouse 用起来怎么样呢?
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2778 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 10:06 · PVG 18:06 · LAX 02:06 · JFK 05:06
    ♥ Do have faith in what you're doing.