遇到个需求,大佬帮忙想想。。。给个大致方向即可。
Q:
我目前的想法是 redis + shared memory module 解决本地读写速度的问题。 集群的话,直接使用 redis 自带方案,反正瓶颈是在 bandwith 上......
PS:redis 本机的 benchmark 做下来性能不理想才考虑使用 shared memory
1
luozic 2018-10-23 00:32:36 +08:00 via iPhone
这么大的数据为啥不直接存文件系统,redis 只用来存文件路径和 hash 值
|
2
dragonsunmoon 2018-10-23 01:30:05 +08:00
Apache Ignite
https://liyuj.gitee.io/ |
3
yanaraika 2018-10-23 02:59:31 +08:00
读写大文件应该直接上分布式 fs
|
4
owenliang 2018-10-23 07:36:18 +08:00 via Android
大哥不说业务场景不合适吧
|
5
yulitian888 2018-10-23 08:40:04 +08:00
1mb ~ 100mb 这个大小范围,不适合用 redis 了吧
|
6
xyjincan 2018-10-23 08:46:08 +08:00
哥哥内存真大,
|
7
xyjincan 2018-10-23 08:52:21 +08:00
本地读写要和内存直接读写的速度在一个量级 反正瓶颈是在 bandwith 上...... ?
|
8
agostop 2018-10-23 08:58:17 +08:00
确定是要存文件?直接把内存划一片出来挂载上用就行了呗,弄这么麻烦,或者 /dev/shm 也是内存区域啊,改改大小直接用呗
|
9
crazycen 2018-10-23 09:05:29 +08:00 via iPhone
有钱上 HANA
|
10
fireapp 2018-10-23 09:59:16 +08:00 via iPhone
alluxio 热数据全部 pin 在内存
|
11
print1024 2018-10-23 10:00:19 +08:00
[alluxio]( https://www.alluxio.org/docs/1.8/cn/) 这个是开源的分布式内存文件系统,开发文档写的不错。
|
12
ffeii 2018-10-23 10:06:07 +08:00 via iPhone
ignite
|