这是一个创建于 3679 天前的主题，其中的信息可能已经有所发展或是发生改变。
大家有没实际测试对比过的？
主要是备份(同步)目前已有的大量图片。每天主要是新增文件，但数量不多，对旧文件的修改很少(偶尔删除几张图而已)。
最初为了方便不用安装配置 rsync，随手写了一个 lftp 的脚本跑到现在，每天都要跑个2、3小时，95%以上的时间都是在遍历旧文件。
这个，换成 rsync 会明显比 lftp 快吗？
主要是备份(同步)目前已有的大量图片。每天主要是新增文件，但数量不多，对旧文件的修改很少(偶尔删除几张图而已)。
最初为了方便不用安装配置 rsync，随手写了一个 lftp 的脚本跑到现在，每天都要跑个2、3小时，95%以上的时间都是在遍历旧文件。
这个，换成 rsync 会明显比 lftp 快吗？
 |
1
yanwen 2014-10-27 18:07:36 +08:00
bittorrent sync 比较好用。。
|
 |
2
lemonda 2014-10-27 18:25:27 +08:00
速度不知道，我用 duplicity
|
 |
3
aa65535 2014-10-27 18:32:14 +08:00
rsync -au --delete --force $BASE $DEST
满足你的需求 |
 |
4
20150517 2014-10-27 19:31:41 +08:00 via Android
我公司同步mongodata，400gb-800gb全球部署，都是用lftp,rsync好像不能多线程，lftp能多线程，速度基本能跑满
|
 |
5
guoguoer 2014-10-27 19:49:23 +08:00 via Android
加了文件日期不一致才上传的情况下？
要不就先用find把新文件找出来传。 |
 |
6
rrfeng 2014-10-27 19:50:45 +08:00
这种需求最好的方式就是不对比直接传差异～
|
 |
7
leopku 2014-10-27 23:37:46 +08:00
bittorrent sync +1
|
 |
8
cevincheung 2014-10-27 23:41:18 +08:00
无论什么方案，在阿里云上都不行。。。
|
 |
9
X-Force OP @cevincheung 为何？
|
 |
10
mechille 2014-10-27 23:58:16 +08:00
现在在用git，也经常用rsync，偶尔lftp。
个人喜欢前两者，lftp若不是某些图片云服务必须要用，一般不会选择它，实在太慢（尤其是有文件夹结构的时候） |
 |
11
decken 2014-10-27 23:59:05 +08:00
btsync 貌似v2ex就是这样同步的
|
|
12
cevincheung 2014-10-28 01:10:02 +08:00
@X-Force
rsync 两台机同步1t的文件，其中800g的图片文件，零碎小文件。两天没完。内网。 阿里云硬盘读写都在10MBs/s左右，当处理大量小图片时，在1000KB/S左右。白天在2K/s-600K/s左右。 看着iotop的结果，我也是醉了。 |
 |
13
ctexlive 2014-10-28 03:06:50 +08:00 via Android
当然用rsync了。它不需要每次遍历旧文件，或者不会像lftp那么蠢，从零开始遍历。否则我的几百G的文件同步岂不是要疯掉。
|
 |
14
LazyZhu 2014-10-28 08:34:24 +08:00
lftp 支持 ftp/http吧，而rsync不行，看使用环境吧
|
 |
15
msg7086 2014-10-28 08:38:55 +08:00
ftp不适合那么大量的文件。rsync相对更快一些。
|
 |
16
wanwangkangluo1 2014-10-28 10:08:23 +08:00
backupPc
|
Select Language