这是一个创建于 2175 天前的主题，其中的信息可能已经有所发展或是发生改变。
工作的业务场景里面想到的。
一张亿级记录数的表，有一个时间戳字段 timestamp 以及若干其他字段。这张表每隔 5 分钟更新，插入新的纪录，并删除上上个粒度数据。比如 9 点更新该时刻数据的时候，删除 timestamp 8:50 的数据,同时保证 9 点 5 分前数据更新完毕。
要求在 9 点 10 分前用较少的内存将 9 点的数据采集成文件。不考虑读数据库和磁盘 io 时间，只允许使用这一个数据库。程序可以分布式，数据库只可查询
我想法是把表按主键取模进行水平拆分，按照拆分个数 n 在 n 台主机采集，最后丢进 mq 队列，一台机器上把 n 个文件拼成一个。
没搞过相关业务的经验，原来搞这个模块的人跑路了，所以现在没个讨论的。
有经验有想法的，欢迎给个思考方向，谢谢
一张亿级记录数的表，有一个时间戳字段 timestamp 以及若干其他字段。这张表每隔 5 分钟更新，插入新的纪录，并删除上上个粒度数据。比如 9 点更新该时刻数据的时候，删除 timestamp 8:50 的数据,同时保证 9 点 5 分前数据更新完毕。
要求在 9 点 10 分前用较少的内存将 9 点的数据采集成文件。不考虑读数据库和磁盘 io 时间，只允许使用这一个数据库。程序可以分布式，数据库只可查询
我想法是把表按主键取模进行水平拆分，按照拆分个数 n 在 n 台主机采集，最后丢进 mq 队列，一台机器上把 n 个文件拼成一个。
没搞过相关业务的经验，原来搞这个模块的人跑路了，所以现在没个讨论的。
有经验有想法的，欢迎给个思考方向，谢谢
 |
1
sagaxu 2018-12-08 18:29:59 +08:00 via Android
每 5 分钟更新 1 亿条？ 9 点是做个 snapshot 还是只采集更新部分？
|
 |
2
pusidun OP @sagaxu 9 点开始更新时间戳是 9 点的数据，在 9 点 05 分更新结束。这部分数据会在 9 点 05 分到 9 点 10 分由程序采集。更新和采集是错开来的
|
|
3
sagaxu 2018-12-08 21:50:41 +08:00 via Android
@pusidun 时间戳是 9 点的数据预估是多少条呢？几千条和几百万条，设计是完全不同的，如果每隔 5 分钟就把亿级数据全量刷新一遍，又是完全不同的要求了
|
 |
4
yfl168648 2018-12-08 22:28:01 +08:00
不清楚是增量还是全量采集。如果是全量，很多问题就出现了。拍快照行不行~
|
 |
5
reus 2018-12-08 23:15:09 +08:00
这个和内存有啥关系？读一行就写一行，又不是说全部读入内存才能写文件
|
 |
6
vitoliu 2018-12-09 01:21:28 +08:00
我理解这种数据存储类似于时间序列吧，考虑一下 HBase?用 MySQL 的话感觉比较麻烦...
|
|
7
pusidun OP |
|
8
reus 2018-12-09 11:29:20 +08:00
@pusidun ……谁说一行一个 sql。主流数据库都支持 cursor，一次查询如果返回多行，可以一行一行取回，处理完再读下一行，这样不会占用多少内存。
|
 |
9
C2G 2018-12-09 11:35:49 +08:00 via Android
虫群？
---------- #8 的思路应该是可行的。 跑路的话问人事要一下之前那个人的电话 /邮箱，私下沟通一下 |
|
10
sagaxu 2018-12-09 12:22:49 +08:00 via Android
@pusidun 似乎是在做设备监控，db 只保留当前状态，历史状态归档到文件。
如果是这种需求，应该把 db 拿掉，一分钟 200 万个更新，得按照每秒 5 万次写入来设计，db 的压力是巨大的。 可以考虑直接写到 mq，一个消费者负责 update 到 redis，另一个消费者负责聚合成文件。mq,redis,消费者都可以按需做 HA 或者 LB。 |
 |
11
winglight2016 2018-12-09 16:07:41 +08:00
log 类型的数据，考虑一下 ELK 吧
|
 |
12
nekoneko 2018-12-09 19:08:24 +08:00
为什么不在拿到数据的时候就写成文件并放进数据库呢，到了另一个时间段直接从数据库删除之前的数据不行吗
|
Select Language