阿里云 oss,上传嗖嗖的,上次说的下载拉胯,下载 5TB ,流量费好几千,现在发现删除更要命,1 秒大约删除 1000 个文件,5TB 存的图片,每个图片 10kb ,510241024*1024 ,53687 万个文件,536870 秒,大约 6.2 天,如果是 500TB ,删除文件就需要 620 天,大约 2 年。。。
删除方法(网页上点击根目录的一个文件夹,选择彻底删除,就是这么慢,其他方法没试过)
1
LeeReamond 2022-06-30 17:49:02 +08:00
我觉得你这个数据量需求也比较夸张,图片还要做到每秒 1000 的增删 io 已经挺快了。。
|
2
night98 2022-06-30 17:51:20 +08:00
|
3
Moker 2022-06-30 17:54:34 +08:00 1
设置生命周期 自己删除
|
4
jayin 2022-06-30 18:01:03 +08:00
用 ossutils
|
5
8520ccc 2022-06-30 18:23:32 +08:00
肯定要用 API 啊
|
6
nightwitch 2022-06-30 18:26:47 +08:00
删除规则
OSS 支持手动或者自动删除单个或多个文件,删除规则说明如下: 手动删除 删除单个文件 您可以通过 OSS 控制台、命令行工具 ossutil 、SDK 、图形化管理工具 ossbrowser 的方式删除单个文件。 删除多个文件 通过 OSS 控制台一次最多可删除 100 个文件,通过 SDK 一次最多可删除 1000 个文件,通过命令行工具 ossutil 以及图形化管理工具 ossbrowser 一次最多可删除的文件个数无限制。 自动删除 如果需要删除的文件数目较多,且删除的文件有一定的规律,例如需要定期删除指定日期之前的文件,指定前缀的文件,又或者需要清空整个 Bucket 内的所有文件。此时,推荐您配置生命周期规则自动删除文件。生命周期规则配置完成后,OSS 会根据规则自动删除指定文件,从而减少您发送删除请求的次数,以提高删除效率。更多信息,请参见生命周期规则介绍。 |
7
LoNeZ 2022-06-30 18:48:23 +08:00
问下 QPS 限制呗,看看能不能提高这个上限。
|
8
wsseo 2022-06-30 23:55:18 +08:00
不要用页面操作,批量删除甚至会卡死
|