这是一个创建于 2278 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前用了 mongo 打算一天存一个集合，但是数据到了五千万左右的时候写入速度就很慢了，每秒几百条。
{
"_id" : ObjectId("5da7e7842bd2cd5578ebdf52"),
"time" : "2019-09-01 08:01:45.899",
"src_ip" : "59.1.1.1",
"port" : "64466",
"proto" : "TCP",
"in_bytes" : "60",
"out_bytes" : "0",
"in_packets" : "1",
"out_packets" : "0",
"flows" : "1",
"is_edu_net" : "1"
}
数据结构大概是这样，后面需要展示，就这样表格一条数据占一行，会按照 ip，端口，或者协议查询。
 |
1
oscer 2019 年 10 月 17 日
pg?
|
 |
2
taotaodaddy 2019 年 10 月 17 日 via Android
时序？
|
 |
3
mikulch 2019 年 10 月 17 日  1
hbase?
|
 |
4
atbility 2019 年 10 月 17 日
elasticsearch?
|
 |
5
l0wkey 2019 年 10 月 17 日
TSDB
|
 |
6
rrfeng 2019 年 10 月 17 日
应该是 cache 满了，合理调整一下应该可以的。
|
 |
7
qiayue PRO 不用问，问就是时序数据库
|
 |
8
tt67wq 2019 年 10 月 17 日
influxdb
|
 |
9
letitbesqzr 2019 年 10 月 17 日
@atbility #4 elasticsearch 真的适合如此高的频率写入数据？我所了解要说写入效率，es 是常见的数据库中最慢的。
|
 |
10
hkitdog 2019 年 10 月 17 日 via iPhone
Oracle
|
 |
11
ebingtel 2019 年 10 月 17 日
@letitbesqzr 先写入 kafka 再写 ES
|
 |
12
yingsunwl 2019 年 10 月 17 日
clickhouse
|
 |
13
rockyou12 2019 年 10 月 17 日
时序库吧，timescale，influxdb 这种，上面说 es 估计也行但性能会差些
|
 |
14
11ssss 2019 年 10 月 17 日
TDengine
|
|
15
atbility 2019 年 10 月 17 日
@letitbesqzr es 挺快的啊，上次我整了 10 个亿的数据，9 台服务器，速度杠杠滴
|
 |
16
zxc111 2019 年 10 月 17 日
clickhouse+1
|
 |
17
wangxiaoaer 2019 年 10 月 17 日
|
 |
18
Pythondr 2019 年 10 月 18 日 via Android
这种数据，明显时序数据库
|
 |
19
Samuelcc 2019 年 10 月 18 日 via Android
hbase
|
Select Language