V2EX › yiyi1010 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

2023 年 3 月 12 日

回复了 yiyi1010 创建的主题 › Python › PyTorch DistributedDataParallel 多卡训练结果变差

@hsfzxjy 你说 layernorm ，而不是 BN ，也要替换成 Syn 的版本是吗

2023 年 2 月 1 日

回复了 yiyi1010 创建的主题 › Python › PyTorch DistributedDataParallel 多卡训练结果变差

看一般是需要线性提升 leanring rate

2023 年 2 月 1 日

回复了 yiyi1010 创建的主题 › Python › PyTorch DistributedDataParallel 多卡训练结果变差

@hsfzxjy 有道理。谢谢你，我去试试

2023 年 2 月 1 日

回复了 yiyi1010 创建的主题 › Python › PyTorch DistributedDataParallel 多卡训练结果变差

@hsfzxjy 请问 BN 是有什么影响吗

2023 年 2 月 1 日

回复了 yiyi1010 创建的主题 › Python › PyTorch DistributedDataParallel 多卡训练结果变差

@Ricardoo 这那还能调吗

2023 年 2 月 1 日

回复了 yiyi1010 创建的主题 › Python › PyTorch DistributedDataParallel 多卡训练结果变差

对 DDP 增加了 batch size ，不是应该按照卡倍数增加学习率吗？

2022 年 11 月 20 日

回复了 yiyi1010 创建的主题 › 3D › Waymo open dataset 数据集下载后，如何解压

@FACEB00K 是的，蛮大的，我全部下载了（ testing ，training ，validation ，domain adaptation 四个文件夹），大概 1.8T ，但是你就是说手动进行处理成 OpenPCDET 需要的样式

2022 年 11 月 18 日

回复了 yiyi1010 创建的主题 › 3D › Waymo open dataset 数据集下载后，如何解压

@FACEB00K 谢谢你哈。对，就 gsutil 下载下来的是 tar files ，你这里是用什么解压的，解压之后应该就是 tf 文件，你是分别在 training ，testing ，validation 每个文件夹里面执行 ls *.tar.gz | xargs -n1 tar xzvf ，进行解压吗