有什么办法提高大量大量小文件复制/移动的速度没？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3632 天前的主题，其中的信息可能已经有所发展或是发生改变。

[缘由]
昨天备份手机上的tencent文件夹，你知道的微信和手Q都是很多很多的文件夹和小文件来管理资源的，于是，我不知道花了多久，昨天晚上开始备份，今天早上起来的时候算是结束了，Windows显示剩余6小时的时候我就哭了，于是改用Cygwin的mv命令，但是也花了很久，目测一两个小时吧
PS：读卡器直接读卡的，没有用USB数据线传
PPS：不排除我的卡读写速度比较慢

[文件信息]
1.50 GB (1,619,127,376 字节)
1.56 GB (1,678,778,368 字节)
44,137 个文件，15,137 个文件夹
其实文件和文件夹也不算多，这么看起来的话

[有什么办法没呢]
只是因为备份这个文件夹时想到的，并不是针对备份它而言

[另外想到的问题]
刚才说到TF卡，现在感觉8G的卡已经很不够用了，升级为16G的卡如何？
是不是TF卡读写次数多了，就会容易坏，反正我插到电脑上的时候Windows提示修复
那16G的卡不会比8G的卡更容易出问题吗，要是出问题了，资料损失的概率不就更大了=。=

原谅我想太多...

文件夹

备份

字节

20 条回复 • 2020-02-28 13:20:16 +08:00

xiaogui

2014-12-14 14:25:15 +08:00

无压缩比打包成若干个压缩包文件，然后拷贝，解压。比你直接小文件对拷快很多。

aWangami

2014-12-14 14:29:25 +08:00

@xiaogui 这是个好主意！可以一试~

oott123

2014-12-14 14:29:48 +08:00

FastCopy

aWangami

2014-12-14 14:36:09 +08:00

@oott123 我用它备份过整盘文件，速度不错，不过没试过大量小文件，下回测测速度~

icedx

2014-12-14 14:38:11 +08:00 via Android

临时文件和输出目录设到ramdisk 打包tar 一波带走

xiaogui

2014-12-14 15:02:36 +08:00

@aWangami 服务器对拷碎文件必备方法，省时间不是一点两点，但是记住不要压缩比。

yksoft1

2014-12-14 18:15:21 +08:00

大量小文件的问题来自于文件系统，现在的树形文件系统的遍历，增加节点可不是那么快的。
因此建议还是将大量小文件进行打包。如果小文件并不复杂，比如源代码类，就算使用高压缩率打包也不会很慢

msg7086

2014-12-14 18:42:07 +08:00 via iPhone

先全盘镜像再复制？不知道有没有类似的工具。

BetaLe

2014-12-14 18:45:57 +08:00 via Android

@aWangami 一直都是用一楼的方法。省了多少创建文件的时间啊

thidnh

2014-12-14 18:51:07 +08:00

推荐7z，有个store的压缩模式。基本不压缩，速度飞快

Havee

2014-12-14 20:19:59 +08:00

我会说我使用cpio么
备份gentoo时效率比tar高
cp在大量小文件时，还是放弃吧

全盘镜像的话么....没有比dd更优效率的了

tanyuxiang

2014-12-14 20:22:16 +08:00

teracopy或打包

aWangami

2014-12-14 22:45:07 +08:00

@Havee 嘿，下次可以尝试尝试~

aWangami

2014-12-14 22:47:32 +08:00

@msg7086 楼上说的dd？或者用ghost之类的

aWangami

2014-12-14 22:48:43 +08:00

@yksoft1
@xiaogui
@icedx 打包之后再移动确实是个好办法

tititake

2014-12-14 22:56:16 +08:00 via Android

rsync
电脑上装服务端，Android手机用命令客户端，然后Tasker根据不同情景调用。

Rexter

2014-12-14 22:58:45 +08:00

我在用ExtremeCopy Pro，这个安装了就作为你的默认复制工具

aWangami

2014-12-15 09:49:10 +08:00

@Rexter 看了一下不错的样子~

aWangami

2014-12-15 09:49:38 +08:00

@tititake 方式略高端呀

tmtony

2020-02-28 13:20:16 +08:00

我也遇到了这个问题，折腾了好几天，因为 2 台电脑复制了 2 天都没拷贝完。在网上找了很多资料，后来解决了。把找到的各种方法整理了一下。也包括这里大家说的一些好方法。
复制很多个大量小文件比复制总体积相同的单个大文件要慢很多的解决办法
http://www.52help.net/htips/337.html