这是一个创建于 888 天前的主题，其中的信息可能已经有所发展或是发生改变。
如题，少量文件之前用了，可以正常。最近同步 10W+ 文件（都是 100kb 左右的东西），几天了文件夹结构的同步了，文件都没得同步上。
两台机器都有外网 IP ，也开启了 22000 端口外网访问的权限。
两台机器都是 Linux 服务器，还有其他的替代方案吗？不用实时性很高的同步，就是要数据的完整性有要求。（不太想自己再写一个玩意来做同步）
 |
1
kokutou 2022-06-21 13:04:27 +08:00
rsync 一句话...
|
 |
2
Buges 2022-06-21 13:07:10 +08:00 via Android
可以先用其他方式复制到目标机器再开始同步。ayncthing 同步海量小文件是没问题的，就是速度有点慢。
|
 |
3
jacyl4 2022-06-21 13:14:02 +08:00
5w 大大小小的文件同步。没遇到什么问题。跨境同步的话，我是给 syncthing 套上代理同步的。
|
 |
4
initd 2022-06-21 13:17:59 +08:00
tgz, 先 tar 存储所有文件, 再 gzip 压缩刚才的 .tar 单文件
|
 |
5
k9982874 2022-06-21 13:48:40 +08:00 via Android
传 s3 再拖回来
|
 |
6
leavic 2022-06-21 18:17:19 +08:00
我觉得，但凡动点脑子都应该考虑#4 的建议。文件检索浪费的时间可能比网络传输还多。
|
 |
7
v2tudnew 2022-06-21 20:39:54 +08:00
没看明白，你特意说端口是没有连上还是文件无法同步？
|
 |
8
allanpk716 OP @leavic 时机情况是这 10W+ 文件大概有 12GB ，服务器没有多余空间压缩存储
|
|
9
allanpk716 OP @v2tudnew 为了避免讨论使用这个软件的配置问题
|
|
10
allanpk716 OP @k9982874 也想过，最后选择了 resilio-sync
|
|
11
allanpk716 OP 最后选择了 resilio-sync 一个晚上同步搞定。在删除 syncthing 同步文件的时候发现，其实它有同步一点文件（ 1GB 多），但是 UI 界面的数据呈现是有问题的（一直显示同步的文件个数是 0 ，文件夹个数同步是完整的），但是它实在太慢，挂机几天了也搞不定。
|
|
12
v2tudnew 2022-06-22 10:46:13 +08:00
@allanpk716 #11 你这个数量级的我也用 syncthing 测试过了，15.6W 文件 6.3GB ，超过 7W 文件不到 10KB 。
同步倒是能同步，一个文件不差，而且都是完整的，但是太慢了，同步 4-5 小时，还不如压缩打包传。 |
|
13
allanpk716 OP @v2tudnew 你当时看了 WebUI 的传输进度正确嘛？我昨天就是看起来不正确，流量统计和数量统计都没有更新，才以为是失败的。resilio-sync 这个的资源暂用挺大的，400 MB 内存打底，syncthing 只需要一半内存。
|
|
14
v2tudnew 2022-06-22 15:13:35 +08:00
@allanpk716 #13 进度这个没法看，它这个好像是根据文件数量百分比来的，我只是发现传输还剩 2-3GB 的时候都是小文件，几十 KB 的传。你这个应该是卡住了，边传输边读写文件它确实有一定几率异常。
|
Select Language