V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
yiyi1010
V2EX  ›  3D

Waymo open dataset 数据集下载后,如何解压

  •  
  •   yiyi1010 · 2022-11-17 09:20:20 +08:00 · 1217 次点击
    这是一个创建于 735 天前的主题,其中的信息可能已经有所发展或是发生改变。

    waymo 数据集下载下来是 tar files ,在不同的文件夹中,请问有人知道什么方式解压最方便吗? 是需要进入不同文件夹,执行 ls *.tar.gz | xargs -n1 tar xzvf 请问有人用过这个数据集吗? OpenPCDET 和 MMLab, 对于解压方式,是不是也应该不也一样?

    4 条回复    2022-11-20 09:03:43 +08:00
    FACEB00K
        1
    FACEB00K  
       2022-11-17 20:19:18 +08:00
    waymo 数据集不都是 tfrecord 的形式吗,我只用 gsutil 下载过单独的几个文件
    yiyi1010
        2
    yiyi1010  
    OP
       2022-11-18 11:44:22 +08:00
    @FACEB00K 谢谢你哈。对,就 gsutil 下载下来的是 tar files , 你这里是用什么解压的,解压之后应该就是 tf 文件, 你是分别在 training ,testing ,validation 每个文件夹里面 执行 ls *.tar.gz | xargs -n1 tar xzvf ,进行解压吗
    FACEB00K
        3
    FACEB00K  
       2022-11-18 20:45:01 +08:00
    @yiyi1010 我用的 Colab 跑的 tutorial code ,数据直接下载在了 Google Drive 里面,`gsutil -m cp -r
    "gs://waymo_open_dataset_motion_v_1_1_0/uncompressed" . ` 这个命令下载下来直接就是原来的结构,不需要解压。
    anyway ,其实随便怎么解压,最后和原来的目录结构一样就可以了,目录结构不深,随便怎么搞,最后 mv 移动一下就行
    By the way ,你数据集下载之后一共多大😭😭😭
    yiyi1010
        4
    yiyi1010  
    OP
       2022-11-20 09:03:43 +08:00
    @FACEB00K 是的,蛮大的,我全部下载了( testing ,training ,validation ,domain adaptation 四个文件夹),大概 1.8T ,但是你就是说手动进行处理成 OpenPCDET 需要的样式
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3298 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 11:56 · PVG 19:56 · LAX 03:56 · JFK 06:56
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.