这是一个创建于 631 天前的主题，其中的信息可能已经有所发展或是发生改变。
需求：有大量零散二进制文件，每个体积不大大概 16KB 左右，但是数量比较多有大概 5 千万-6 千万个。业务上并发访问量比较大，需要一个读取场景下性能优化最多的数据库。。。。
同事出了两个方案，一个是用 oracleDB 一个是用 mongoDB ，但是感觉都有一点点合适，但是又不太合适，所以感觉很别扭。
mongoDB 的缺点在于，我们的数据是结构化的，每个文件体积都是精确相同的，mongoDB 似乎对于这种结构化场景没有做较多优化，读取性能可能无法胜任高 qps 。
oracleDB 也能索引二进制数据，但是我们的数据整体关系上是非常简单的，基本就是 kv 索引，最多再加个时间范围，oracle 对复杂关系做了很多优化似乎也是我们用不上的，同样担心无法胜任高 qps 。另外 oracle 的水平扩展也没有前者舒服，成本也是一方面问题。
========
可能有朋友会说直接用操作系统的文件管理系统。。。我们业务上没这么做过不知道行不行，但是感觉大量并发读取和少数写入并发的时候，这东西稳不稳啊。。。而且没有内存缓存之类的，感觉很亏，系统有个 iobuffer 但是比数据库的内存缓存要小太多了。。。
 |
1
opengps 2023-02-16 14:00:28 +08:00
数量总量太大，存入你的数据库之后索引文件本身也会大，这时候相比文件系统直接读取，就多了一层扫描大索引的过程，实际效果未必更快。
如果服务器内存足够大，你可以尝试下 redis ，直接内存操作必然比硬盘读写快很多，而且 redis 天然支持的分布式也有利于你增加机器实现集群效果 |
 |
2
cheng6563 2023-02-16 14:08:30 +08:00
不追求高可用的话，放文件系统就是最舒适的了，多建几层文件夹当目录就行。
操作系统的文件缓存是把所有未使用的内存拿来当缓存的。 |
 |
3
flashBee233 2023-02-16 14:25:24 +08:00
不知道 OSS+CDN 能不能行
|
 |
4
israinbow 2023-02-16 14:25:25 +08:00
HDFS 上套 Hbase, 如果读写小文件是有规律结构的还可以套 HAR 上去, 这算是数据库的解决方案吧.
|
|
5
opengps 2023-02-16 14:27:01 +08:00
@flashBee233 #3 op 的用法，oss 的 https 请求次数会太贵
|
 |
6
deltadawn 2023-02-16 14:33:17 +08:00
Cassandra
|
 |
7
MoYi123 2023-02-16 14:47:52 +08:00
这个问题的关键点在你要怎么查,
如果只需要遍历, 那直接压缩了就行了. 如果要查就要考虑怎么做索引, 直接放文件系统只靠目录确定能查到吗? |
 |
8
BeautifulSoap 2023-02-16 14:50:11 +08:00
小文件直接写到文件系统里其实还行，除了会浪费很多空间。但是一旦写了就再也别再想着迁移到其他分区或硬盘了。真这么干过过的人表示你这么做的话，迁移文件的时候就是一场噩梦。
选择专门存储小文件的分布式文件系统就行了。Hadoop HDFS ，minio 之类的 |
 |
9
tool2d 2023-02-16 14:52:26 +08:00
5 千万级别肯定选数据库啊，存文件系统想什么呢？
就算文件再小，只要数量上去了，NTFS 的 MFT 表也是有开销的。 如果我是 OP 同事，就上定制化 KV 数据库，二进制文件只要把索引整好就可以了。 |
 |
10
pragmatwice 2023-02-16 14:55:52 +08:00 via Android
|
 |
11
opengg 2023-02-16 14:57:05 +08:00
用分布式的 KV 数据库就行。
|
 |
12
makelove 2023-02-16 15:22:18 +08:00
最大 5000w 好象也不是很多，要求不严的话文件系统也能用的吧，我以前小鸡上试过上千 w 的没什么问题，一开始不懂用了 ext4 直接 inode 爆了，后来只能转 reiserfs 这类无限 inode 的 fs
|
 |
13
dx3759 2023-02-16 19:02:09 +08:00
小文件，找一个分布式 KV 数据库就够，才 5000w
|
 |
14
LeeReamond OP @tool2d 有具体推荐吗，没啥研究，都是数据炸了之后才开始想办法。。。
|
|
15
LeeReamond OP @BeautifulSoap hadoop 感觉可能是很适合这种场景的解决方案，但查了查感觉它宣称的几个缺陷，一个是入库后无法修改，二是宣称低延迟场景无法实现，我们业务上就需要查询快速出结果
|
 |
16
PythonYXY 2023-02-16 20:24:32 +08:00
感觉 hbase+mob 就可以吧。你们的查询 QPS 有多少，主要是点查还是范围查询？
|
Select Language