2018 年了，支持字节级同步（差分编码）的网盘有哪些，技术实现很困难吗？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2335 天前的主题，其中的信息可能已经有所发展或是发生改变。

带同步功能的网盘，几乎都支持文件级的差异同步（只上传修改过的文件）。但很多都不支持“字节级”的差异同步。

采用这种同步方式，网盘客户端会分析某个文件被修改的部分，然后只上传修改过的那些字节。这里面用到一种技术叫“差分编码”（洋文叫“ Delta Encoding ”）。

测试方法：假如你手头已经有一个加密盘（至少是上百兆的），先把加密盘的“卷文件”同步到网盘。然后在加密盘中“修改某个小文件”或“增加某个小文件”。然后再把加密盘的卷文件同步一次。如果第二次同步很快完成，说明该网盘的客户端支持“字节级差异同步”。

已知 Dropbox 是支持该技术的，网传 OneDrive 已经支持“字节级差异同步”，今天测试发现 OneDrive 竟然无法监测到加密盘的卷文件已经发生变化，把修改后的加密盘的卷文件覆盖修改前的，客户端完整上传整个文件。

Google Drive 还没测试，尝试在网页版上零散文件归类到一个新建目录，观察到客户端是删除本地的文件再重新下载，看起来文件级的差异同步都没有做好。

文件

字节级

同步

网盘

25 条回复 • 2020-09-25 02:04:39 +08:00

dlsflh

2018-06-24 00:29:17 +08:00 via Android

Google 做的最差

xinhugo

2018-06-24 01:01:33 +08:00

再次测试了一次 Google Drive 的 Windows 客户端，网页版移动文件，客户端能在本地直接移动而不是直接下载。

加密卷文件和 OneDrive 客户端一样，无法监测到文件的变化，不支持字节级的差异同步。

OneDrive 的差分同步，可能仅限于自家的 Office 文件。

leaf

2018-06-24 01:06:46 +08:00

国内的坚果云应该是支持的

xinhugo

2018-06-24 01:18:36 +08:00

Windows 下本地同一个文件，直接在本地同一位置复制、粘贴，Google Drive / OneDrive 均需要重新完整上传，Dropbox 仍然能秒传，同步功能完全没可比性。

Sharuru

2018-06-24 01:24:07 +08:00

因为做出来用户少呗……

国内有一款叫坚果云的产品支持（官方描述叫“增量备份”），而且个人觉得各方面都用起来比弄丢我文件的 DropFile 顺手。

不仅能够多文件夹任意同步而且还能免费使用 DropFile 收费才能使用的 Smart Sync 功能。
额外还提供了 WebDav，走到哪里都可以简单的使用。

除了付费情况下，总容量没有 DropFile 的大（真的有 1TB 的内容要随时同步？）

可是坚果云不用翻墙，速度爽爽的。

lihua

2018-06-24 01:45:24 +08:00 via Android

@Sharuru dropfile 是？

msg7086

2018-06-24 04:23:28 +08:00

跑个题，OneDrive for Business 对文件的每次更改都会进修改历史，而修改历史……是算容量的。
比如你传了个 10G 的文件，然后修改了 10 次 Last Modified Time，你 Quota 里就少了 110G ……
不知道个人版是不是也这样，我没试。不过如果你遇到剩余空间越来越小的情况可以看下这个坑。

Satelli

2018-06-24 07:11:05 +08:00

@lihua 他在 meme drop 掉他 file 的 Dropbox。

xinhugo

2018-06-24 08:55:45 +08:00

@Sharuru 说实在的话，对国内商业软件除了干本职工作外还会主动或被动做些什么是比较担忧的，它的基础设施也在朝内。

看了下坚果云的帮助文件，“压缩文件（常见的压缩文件除了压缩包以外，还包括 jpg，png 和 tiff，各种视频文件等。）和加密过的文件（不包括加密过的 Office 文件），不支持增量同步；”，VeraCrypt 加密卷文件，Dropbox 是能增量同步的，可能技术上 Dropbox 会强一些。

帮助文件没看到相关信息，暂时在 OneDrive 上的资料比较少，还准备传一些工作文件过去，如果真是这样的话，5G 的免费版本两下就没了。
@msg7086

doubleflower

2018-06-24 08:57:45 +08:00 via Android

可能是觉得用到的场景不多？一般的文件改一下上传一下也花不了多长时间。如果是大文件的话，视频什么的，都是有特定的编码的，你即使改一点点，整个文件的字节都全变了。

xinhugo

2018-06-24 08:58:27 +08:00

假如你的系统重新安装了，你同步的文件并无变化，重新安装 OneDrive 你的文件需要重新上传？
@msg7086

changwei

2018-06-24 18:02:13 +08:00 via Android

你这个算是伪需求吧，国内人备份的都是 doc，xls，或者 mkv，jpg，这种东西有自己的编码，差异备份用处不大，况且微软也有 onedriver，office 也自带修订。如果是数据库，csv 之类的备份有专门的 iaas 做这个。txt 之类的小说就几 kb 更加没有这个必要，代码的话也有版本控制，不单是差异备份，还有修订和回滚，分支功能。实在想不到网盘需要差异备份的场景。

xinhugo

2018-06-24 19:15:15 +08:00

Dropbox 的“字节级差异同步”，支持 doc 甚至加密卷的增量同步，而不需要完整上传整个文件，达到优化上传速度的目的。

txt 之类的小说，测试了一下三百万字会去到 6M 左右；书籍类的 doc 文档，一般也接近 100M。

对于上行带宽资源并不充裕且需要使用代理连接的用户来说，“字节级差异同步”很重要，并不是伪需求。
@changwei

Kagari

2018-06-24 19:58:06 +08:00 via Android

#13 请问这个"支持 doc 甚至加密卷的增量同步"里的加密卷是什么，压缩文件、加密的独立分区、加密的 office 文件？

xinhugo

2018-06-25 00:37:34 +08:00 via iPhone

@Kagari VeraCrypt 生成的文件型加密卷。

msg7086

2018-06-25 01:34:20 +08:00

@xinhugo #11 不需要吧。
我是自己在编写 OneDrive 客户端的时候，上传完文件会设置一下修改日期成本地原始日期，结果发现容量成倍地掉，才发现了这个坑。

xinhugo

2018-06-25 05:10:31 +08:00 via iPhone

@msg7086 Google Drive 有这个坑吗？看起来两家在同步功能上都不上心，LAN 同步加速、已有文件秒传这样的基础功能都没有，如果重装系统，岂不是又要上传一遍。

msg7086

2018-06-25 10:20:06 +08:00

@xinhugo 重装系统为什么要重新上传一遍？
GD 我用的无限空间版，所以没法看 Quota。但是应该没这个坑的。（话说 GD 有历史版本么？）

xinhugo

2018-06-25 10:31:15 +08:00 via iPhone

因为已经同步的文件本地拷贝副本后，Google Drive 会完整上传该副本。
历史版本有的，没测试是否占用空间。
@msg7086

msg7086

2018-06-25 10:33:35 +08:00

重装系统的话，文件没变，不会重新上传的，只会重新索引。

xinhugo

2018-06-25 10:56:57 +08:00 via iPhone

15 年时候试过会重新传，Dropbox 才能做到只索引，你测的是什么版本？
@msg7086

msg7086

2018-06-25 11:46:16 +08:00

@xinhugo 我不用 GD 同步盘的，1D 重装系统直接同步我记得没问题的？也可能我记错了。

moxuanyuan

2019-07-02 12:22:57 +08:00

@msg7086 怪不得我 5T 的教育账号，同步的文件大约只有 250G，但用了 1T 空间。。。这个问题，如何清历史文件呢？

msg7086

2019-07-02 13:39:39 +08:00

@moxuanyuan 点进文件历史慢慢删吧。

moonc5914

2020-09-25 02:04:39 +08:00

目前 OneDrive 已经支持完整功能的增量同步了，实测 Bitlocker 加密的虚拟硬盘可以增量同步。6 人拼车家庭版一年也就 50 左右，已然 Windows 最佳同步盘选择。