1.5 亿行数据，每天新增 10 万行左右， 5 分钟内提取新增行，请问能实现吗？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1816 天前的主题，其中的信息可能已经有所发展或是发生改变。

5 分钟内提取新增 10 万行左右，反正越快越好
用什么办法实现？服务器内存数据库？
多少钱能开发做到？
谢谢

7 条回复

tqyq88

2021 年 1 月 26 日

这数据量不算大，elasticsearch 就可以做到，普通配置

YouLMAO

2021 年 1 月 26 日 via Android

提取太简单了哪需要 5 分钟，30 秒搞定

YouLMAO

2021 年 1 月 26 日 via Android

Codis 一秒百万没问题

fourstone

2021 年 1 月 26 日

@YouLMAO 我想要的就是每天在服务器上自动获取，自动提取，明天几亿行数据都是重复的，新的才 10 几万行

ebingtel

2021 年 1 月 27 日

@fourstone 数据重复加生成个 hash 么？加个单表搞个唯一键记录下上次获取的最大 id ？

xcstream

2021 年 1 月 28 日

这数据量不算大一条 sql 就能出来吧

antpi

2021 年 1 月 29 日

YW50eDIwMDYwMQ==