如题,少量文件之前用了,可以正常。最近同步 10W+ 文件(都是 100kb 左右的东西),几天了文件夹结构的同步了,文件都没得同步上。
两台机器都有外网 IP ,也开启了 22000 端口外网访问的权限。
两台机器都是 Linux 服务器,还有其他的替代方案吗?不用实时性很高的同步,就是要数据的完整性有要求。(不太想自己再写一个玩意来做同步)
1
kokutou 2022-06-21 13:04:27 +08:00
rsync 一句话...
|
2
Buges 2022-06-21 13:07:10 +08:00 via Android
可以先用其他方式复制到目标机器再开始同步。ayncthing 同步海量小文件是没问题的,就是速度有点慢。
|
3
jacyl4 2022-06-21 13:14:02 +08:00
5w 大大小小的文件同步。没遇到什么问题。跨境同步的话,我是给 syncthing 套上代理同步的。
|
4
initd 2022-06-21 13:17:59 +08:00
tgz, 先 tar 存储所有文件, 再 gzip 压缩刚才的 .tar 单文件
|
5
k9982874 2022-06-21 13:48:40 +08:00 via Android
传 s3 再拖回来
|
6
leavic 2022-06-21 18:17:19 +08:00
我觉得,但凡动点脑子都应该考虑#4 的建议。文件检索浪费的时间可能比网络传输还多。
|
7
v2tudnew 2022-06-21 20:39:54 +08:00
没看明白,你特意说端口是没有连上还是文件无法同步?
|
8
allanpk716 OP @leavic 时机情况是这 10W+ 文件大概有 12GB ,服务器没有多余空间压缩存储
|
9
allanpk716 OP @v2tudnew 为了避免讨论使用这个软件的配置问题
|
10
allanpk716 OP @k9982874 也想过,最后选择了 resilio-sync
|
11
allanpk716 OP 最后选择了 resilio-sync 一个晚上同步搞定。在删除 syncthing 同步文件的时候发现,其实它有同步一点文件( 1GB 多),但是 UI 界面的数据呈现是有问题的(一直显示同步的文件个数是 0 ,文件夹个数同步是完整的),但是它实在太慢,挂机几天了也搞不定。
|
12
v2tudnew 2022-06-22 10:46:13 +08:00
@allanpk716 #11 你这个数量级的我也用 syncthing 测试过了,15.6W 文件 6.3GB ,超过 7W 文件不到 10KB 。
同步倒是能同步,一个文件不差,而且都是完整的,但是太慢了,同步 4-5 小时,还不如压缩打包传。 |
13
allanpk716 OP @v2tudnew 你当时看了 WebUI 的传输进度正确嘛?我昨天就是看起来不正确,流量统计和数量统计都没有更新,才以为是失败的。resilio-sync 这个的资源暂用挺大的,400 MB 内存打底,syncthing 只需要一半内存。
|
14
v2tudnew 2022-06-22 15:13:35 +08:00
@allanpk716 #13 进度这个没法看,它这个好像是根据文件数量百分比来的,我只是发现传输还剩 2-3GB 的时候都是小文件,几十 KB 的传。你这个应该是卡住了,边传输边读写文件它确实有一定几率异常。
|