mysql 写的量比较大每日 20 亿次， 读写比是 1:20, 如何设计数据库的架构
thomaswang · 2019-07-18 13:27:37 +08:00 · 3799 次点击这是一个创建于 1941 天前的主题，其中的信息可能已经有所发展或是发生改变。
 |
1
glacer 2019-07-18 13:48:49 +08:00
换 MongoDB
|
 |
2
dapang1221 2019-07-18 13:52:18 +08:00
什么业务这么大量的写…读对实时性有要求吗…
|
 |
3
dongisking 2019-07-18 14:09:06 +08:00 via Android
先关注一下，看楼下发言
|
 |
4
luckyrayyy 2019-07-18 14:12:07 +08:00
楼下不会...
|
 |
5
aaahhh123 2019-07-18 14:14:14 +08:00
ma yixai
|
 |
6
stockCHEN 2019-07-18 14:15:08 +08:00
物联网吗？
|
 |
7
zidian9 2019-07-18 14:22:34 +08:00
分库分表写，每过一段时间把老的数据（不怎么用的）移到数据仓库里面去
数据仓库里面读的时候加个缓存 |
 |
8
sujin190 2019-07-18 14:31:47 +08:00
这种数据是不是不适合存数据库，这么大量，保存下来似乎也没多大用，索引太大查询不了，最好就是 kafaka 然后 flink 直接计算结果就是了，没必要保存吧，需要保存最好就纯文本文件存入 hdfs，需要统计啥的直接 hadoop 或者 flink 读出来直接计算更快吧
mysql 在索引太大无法使用，需要直接读取磁盘全表扫描的时候似乎读取磁盘速度很慢，而纯文本顺序 io 读出来直接计算更快 |
 |
9
c0878 2019-07-18 14:40:10 +08:00
写入量大没问题 关键看这些数据后续要来做什么 然后根据数据消费的情况 选择不同的存储引擎 可能 mysql 不是最好的选择
|
 |
10
thomaswang OP @stockCHEN 你的回到真的亮了， 去物联网公司面试， 面试官提的问题
|
|
11
thomaswang OP @dongisking 我不会，在请教， 咱们一起看大神的留言吧
|
 |
12
rockyou12 2019-07-18 14:42:16 +08:00
物联网用个屁的 mysql，上时时序数据库。估计是面试官故意给你埋雷
|
 |
13
zhchyu999 2019-07-18 14:43:30 +08:00
可以试试分布式数据库，比如 Tidb 之类的
|
 |
14
xiaoyang7545 2019-07-18 15:55:11 +08:00
这些数据要是丢 mysql 完全没有可读取性 ，不就是废数据了。
|
 |
15
crossoverJie 2019-07-18 16:15:07 +08:00
楼上提到了 确实不能用 MySQL，我们现在就是这个物联网场景，写远远大于读，建议上 MongoDB.
|
 |
16
scalaer 2019-07-18 16:19:45 +08:00
看你的描述我觉得 Hbase 挺适合的， 极端情况下，基于 LSM 树实现的 HBase 的写性能比 Mysql 高了一个数量级，读性能低了一个数量级。
|
 |
17
zhangjessey 2019-07-18 16:48:28 +08:00
可以考虑上时序数据库。
|
 |
18
taotaodaddy 2019-07-18 17:54:01 +08:00 via Android
时序数据库+1
|
 |
19
agdhole 2019-07-18 18:35:23 +08:00 via Android
时序数据库
|
 |
20
XiaoXiaoNiWa 2019-07-18 18:38:05 +08:00 via Android
RocketMQ + MangoDB
|
 |
21
hzfyjgw 2019-07-18 18:41:09 +08:00 via Android
TDengine
|
 |
22
feiyunruyue 2019-07-19 09:24:32 +08:00
时序数据库，这么大量，不知道 prometheus 能不能行。
|
Select Language