这是一个创建于 1949 天前的主题，其中的信息可能已经有所发展或是发生改变。
文件量大概是 100W 左右吧, 是 NTFS 的锅还是 Windows 的锅?
第 1 条附言 · 2019-07-13 20:32:29 +08:00
Linux 下删除90W小文件, 内容都是 helloWorld, 虚拟机, 机械硬盘
[root@MiWiFi-R3-srv tmp]# time rm -rf smallFiles
real 1m45.096s
user 0m0.813s
sys 1m16.760s
Windows10 删除100W小文件, 内容都是 helloWorld, 固态硬盘
PS D:\> Remove-Item -LiteralPath 'tmp' -Force -Recurse
开始时间 20:25 结束时间 我等结束后更新, 发帖时已经过去了5min还没有删除完成
第 2 条附言 · 2019-07-13 20:37:23 +08:00
windows 删除耗时 10min
 |
1
ipwx 2019-07-13 19:29:13 +08:00
别的系统也会很慢。
这是文件系统的固有性质。 |
 |
2
lihongjie0209 OP @ipwx linux 下面的简单测试
``` // 生成 10w 个空白文件 [root@MiWiFi-R3-srv smallFiles]# time touch {1..100000}.txt real 0m5.860s user 0m0.150s sys 0m4.933s // 删除 10w 个空白文件 [root@MiWiFi-R3-srv smallFiles]# time rm -rf * real 0m3.018s user 0m0.316s sys 0m2.543s ``` linux 由于命令行参数的限制, 没办法生成 100W 个文件, 但是 10W 个文件的操作基本都在秒级别, 但是我上次在 windows 下操作耗时是分钟级别的, 这是为什么? |
 |
3
loading 2019-07-13 19:41:41 +08:00 via Android
windows 下也是命令行下测试吗？
|
|
4
loading 2019-07-13 19:42:07 +08:00 via Android
你要测试 ntfs，linux 挂一下就能测试。
|
 |
5
minami 2019-07-13 19:43:52 +08:00
@lihongjie0209 #2 小文件和空白文件不一样的，网上随便搜了下：
“在 ext4 中，是以范围为单位将磁盘空间分割成多个连续的去块的。利用 ext4 的范围预分配能力，可以在几乎一瞬间完成空文件的创建。 对于为新文件保留的范围，ext4 会通过一个标志来标记其尚未被初始化。当对该标志标记的空间进行读取时，文件系统会自动返回 0 值。然而实际上并未把 0 值写入磁盘空间，从而缩短创建空文件的时间。” |
|
6
lihongjie0209 OP @loading windows 是之前用 python 脚本生成的, 没有具体测试生成速度, 但是删除的时候等了好几分钟都没完成, 就没再关注了, 直接最小化到后台, 估计在删除 100W 文件 在 10min 以上
|
|
7
lihongjie0209 OP @minami 看一下我附言的测试结果
|
 |
8
ryd994 2019-07-14 18:25:20 +08:00 via Android
Linux 下虚拟机是什么虚拟机？虚拟磁盘有没有 cache ？ ext4 的挂载选择是什么，有没有 journal=writeback。测试前后有没有 sync 以排除 cache 影响？
ext4 和 ntfs 都是日志文件系统，理论上应该不怕小文件删除。 |
|
9
ryd994 2019-07-14 18:26:51 +08:00 via Android
另外这个锅也可以是 PowerShell 的。为什么不用 del /s ？
|
Select Language