1
sagaxu 2018-12-08 18:29:59 +08:00 via Android
每 5 分钟更新 1 亿条? 9 点是做个 snapshot 还是只采集更新部分?
|
2
pusidun OP @sagaxu 9 点开始更新时间戳是 9 点的数据,在 9 点 05 分更新结束。这部分数据会在 9 点 05 分到 9 点 10 分由程序采集。更新和采集是错开来的
|
3
sagaxu 2018-12-08 21:50:41 +08:00 via Android
@pusidun 时间戳是 9 点的数据预估是多少条呢?几千条和几百万条,设计是完全不同的,如果每隔 5 分钟就把亿级数据全量刷新一遍,又是完全不同的要求了
|
4
yfl168648 2018-12-08 22:28:01 +08:00
不清楚是增量还是全量采集。如果是全量,很多问题就出现了。拍快照行不行~
|
5
reus 2018-12-08 23:15:09 +08:00
这个和内存有啥关系?读一行就写一行,又不是说全部读入内存才能写文件
|
6
vitoliu 2018-12-09 01:21:28 +08:00
我理解这种数据存储类似于时间序列吧,考虑一下 HBase?用 MySQL 的话感觉比较麻烦...
|
7
pusidun OP |
8
reus 2018-12-09 11:29:20 +08:00
@pusidun ……谁说一行一个 sql。主流数据库都支持 cursor,一次查询如果返回多行,可以一行一行取回,处理完再读下一行,这样不会占用多少内存。
|
9
C2G 2018-12-09 11:35:49 +08:00 via Android
虫群?
---------- #8 的思路应该是可行的。 跑路的话问人事要一下之前那个人的电话 /邮箱,私下沟通一下 |
10
sagaxu 2018-12-09 12:22:49 +08:00 via Android
@pusidun 似乎是在做设备监控,db 只保留当前状态,历史状态归档到文件。
如果是这种需求,应该把 db 拿掉,一分钟 200 万个更新,得按照每秒 5 万次写入来设计,db 的压力是巨大的。 可以考虑直接写到 mq,一个消费者负责 update 到 redis,另一个消费者负责聚合成文件。mq,redis,消费者都可以按需做 HA 或者 LB。 |
11
winglight2016 2018-12-09 16:07:41 +08:00
log 类型的数据,考虑一下 ELK 吧
|
12
nekoneko 2018-12-09 19:08:24 +08:00
为什么不在拿到数据的时候就写成文件并放进数据库呢,到了另一个时间段直接从数据库删除之前的数据不行吗
|