2023-03-12 22:21:38 +08:00 回复了 yiyi1010 创建的主题 Python PyTorch DistributedDataParallel 多卡训练结果变差 |
@hsfzxjy 你说 layernorm ，而不是 BN ，也要替换成 Syn 的版本是吗
2023-02-01 10:09:35 +08:00 回复了 yiyi1010 创建的主题 Python PyTorch DistributedDataParallel 多卡训练结果变差 |
看一般是需要线性提升 leanring rate
2023-02-01 10:08:32 +08:00 回复了 yiyi1010 创建的主题 Python PyTorch DistributedDataParallel 多卡训练结果变差 |
@hsfzxjy 有道理。谢谢你，我去试试
2023-02-01 09:04:23 +08:00 回复了 yiyi1010 创建的主题 Python PyTorch DistributedDataParallel 多卡训练结果变差 |
@hsfzxjy 请问 BN 是有什么影响吗
2023-02-01 09:03:44 +08:00 回复了 yiyi1010 创建的主题 Python PyTorch DistributedDataParallel 多卡训练结果变差 |
@Ricardoo 这 那还能调吗
2023-02-01 09:03:13 +08:00 回复了 yiyi1010 创建的主题 Python PyTorch DistributedDataParallel 多卡训练结果变差 |
对 DDP 增加了 batch size ，不是应该按照卡倍数 增加学习率吗？
2022-11-20 09:03:43 +08:00 回复了 yiyi1010 创建的主题 3D Waymo open dataset 数据集下载后，如何解压 |
@FACEB00K 是的，蛮大的，我全部下载了（ testing ，training ，validation ，domain adaptation 四个文件夹），大概 1.8T ，但是你就是说手动进行处理成 OpenPCDET 需要的样式
2022-11-18 11:44:22 +08:00 回复了 yiyi1010 创建的主题 3D Waymo open dataset 数据集下载后，如何解压 |
@FACEB00K 谢谢你哈。对，就 gsutil 下载下来的是 tar files ， 你这里是用什么解压的，解压之后应该就是 tf 文件， 你是分别在 training ，testing ，validation 每个文件夹里面 执行 ls *.tar.gz | xargs -n1 tar xzvf ，进行解压吗
Select Language