pytorch分布式报错AssertionError: Default process group is not initialized

在pytorch中分布式中,dist.barrier()中报错AssertionError: Default process group is not initialized。
可以尝试:

import torch.distributed as dist
dist.init_process_group('gloo', init_method='file:///tmp/somefile', rank=0, world_size=1)

具体的原因我也不太懂,但是可以运行了

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐