目前在做一个小玩意儿,有一个下载器每天下载 1T 数据到硬盘里面. 需要保留两天的数据, 一共 2T, 这些数据要共享给另外 10 台服务器。 以前一直在用 aws EFS(NFSv4)做的, 在每台服务器上 mount
但是前两天发现 EFS 读取大文件的时候特别慢 各位大佬有什么解决方案吗
mount -t nfs4 -o nfsvers=4.2,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2
用的参数如上,是我参数选的不对吗
1
jakezh OP 为了暂时解决,开了另外 3 台服务器,做了一个分布式网络硬盘
成本稍微有点贵啊, 需要用到 3*2T 的硬盘 加三台服务器, 一个月快$1000 了 一月少一台 iPhone。。。。不开心 |
2
greatdancing 2019-11-06 11:53:47 +08:00 via Android
小一个级别用的 btsync
|
3
jakezh OP @greatdancing #2
不能用 sync 类的。。。10 台服务器每台上加一个 2T 硬盘贵死了 |
4
jakezh OP 等一下 我好像算错了,EFS 的价格是 EBS 的三倍,实际上我只多付了三台服务器的钱
|
5
chinuno 2019-11-06 12:03:58 +08:00 via Android
ipfs ?
|
6
icekingcy 2019-11-06 12:06:28 +08:00 via iPhone
歪楼 问个 内网 高速共享文件的方案 NAS 似乎速度并不高啊 上不了 500MB/S
|
7
binux 2019-11-06 12:11:08 +08:00 via Android
EFS 默认是 burst 模式,会根据你使用的容量生成 credit。速度慢应该是你的 burst credit 用完了。
|
8
greatdancing 2019-11-06 12:13:04 +08:00 via Android
@jakezh 你的共享指的是?
|
10
jakezh OP @greatdancing #8
其实只需要公用读,不需要公用写 |
11
lynnX 2019-11-06 12:38:36 +08:00
https://juicefs.com/ 这个应该可以解决你的问题
|
12
johnniang 2019-11-06 12:41:29 +08:00 via Android
https://min.io/ 不知道这个是否可行
|
13
snw 2019-11-06 17:33:40 +08:00 via Android
@greatdancing
BTSync 之类的双向实时同步不靠谱的,被坑过。 |
14
greatdancing 2019-11-06 17:40:00 +08:00 via Android
@snw 请问现在的解决方案是?
|
15
openbsd 2019-11-06 17:54:00 +08:00
10 台都要写还是只读 ?
NFS 问题不大啊,试试只读挂载 ? |
16
openbsd 2019-11-06 17:57:18 +08:00
.....我好像偏题了.......[狗头保命]
|
17
ungrown 2019-11-06 18:44:13 +08:00 via Android
@icekingcy 存在瓶颈的地方很多的,软件本身,系统调度,硬件方面 CPU、网卡、硬盘,这些都有可能造成瓶颈,多个瓶颈一起来,速度就被掐死了。
|
18
flynaj 2019-11-06 18:50:38 +08:00 via Android
syncthing 同步一下 。
|
19
yuyuko 2019-11-07 19:02:29 +08:00
10 台,每台吞吐多少?到底是多慢讲一下啊
|