Pytorch – torch.distributed.init_process_group函数详解
本文作者:StubbornHuang
版权声明:本文为站长原创文章,如果转载请注明原文链接!
原文标题:Pytorch – torch.distributed.init_process_group函数详解
原文链接:https://www.stubbornhuang.com/2327/
发布于:2022年08月29日 8:43:06
修改于:2022年08月29日 8:43:06

在pytorch中使用torch.nn.parallel.DistributedDataParallel
进行分布式训练时,需要使用torch.distributed.init_process_group()
初始化torch.nn.parallel.DistributedDataParallel
包。
1 torch.distributed.init_process_group
1. 函数形式
torch.distributed.init_process_group(backend, init_method=None, timeout=datetime.timedelta(seconds=1800), world_size=-1, rank=-1, store=None, group_name='')
2. 函数功能
初始化默认的分布式进程组,同时初始化分布式包。
3. 函数参数
- backend:类型为str或者Backend,必需参数。所使用的Backend。可选值为mpi,gloo,nccl。我们可以通过小写的字符串如"gloo"指定该字段的值,也可以通过
Backend.GLOO
设置该字段的值; - init_method:类型为str,可选参数。指定如何初始化进程组的url。如果没有指定参数
init_method
或者store
,则使用默认值env://
; - world_size:类型为int,可选参数。参与分布式训练的进程数。如果指定了参数
store
,则为必需参数。默认值为-1; - rank:类型为int,可选参数。当前进程的序号(范围为0到world_size-1)之间。如果指定了参数
store
,则为必需参数。默认值为-1; - store:类型为Store,可选参数。所有的工作进程都可以访问的键/值store,用于交换连接/地址信息;
- group_name:类型为str,可选参数。进程组名称;
- timeout:类型为timedelta,可选参数。对进程组指定的操作超时,默认值为30分钟;
当前分类随机文章推荐
- Pytorch - 使用torch.onnx.export将Pytorch模型导出为ONNX模型 阅读5363次,点赞0次
- Pytorch - torch.unsqueeze和torch.squeeze函数 阅读129次,点赞0次
- Pytorch - torch.nn.Module的parameters()和named_parameters() 阅读351次,点赞0次
- Pytorch - 为什么要设置随机数种子? 阅读337次,点赞0次
- Pytorch - torch.cat参数详解与使用 阅读921次,点赞1次
- Pytorch - 没有使用with torch.no_grad()造成测试网络时显存爆炸的问题 阅读291次,点赞0次
- Pytorch - 使用pytorch自带的Resnet作为网络的backbone 阅读85次,点赞0次
- Pytorch - torch.optim优化器 阅读427次,点赞0次
- Pytorch - torch.distributed.init_process_group函数详解 阅读340次,点赞0次
- Pytorch - 内置的LSTM网络torch.nn.LSTM参数详解与使用示例 阅读1052次,点赞0次
全站随机文章推荐
- Duilib - 界面出现不可拖动和不可拉伸的问题 阅读26次,点赞0次
- TensorRT - 使用C++ SDK出现无法解析的外部符号 "class sample::Logger sample::gLogger"错误 阅读106次,点赞0次
- 资源分享 - Non-Photorealistic Rendering 英文高清PDF下载 阅读1373次,点赞0次
- Duilib - 在同一台电脑上限制只能运行一个程序,防止软件多开 阅读1664次,点赞0次
- 资源分享 - Cloth Simulation for Computer Graphics 英文高清PDF下载 阅读2005次,点赞0次
- 资源分享 - OpenGL编程指南(原书第7版)- OpenGL红宝书高清扫描版PDF下载 阅读4565次,点赞1次
- Pytorch - 使用torch.onnx.export将Pytorch模型导出为ONNX模型 阅读5363次,点赞0次
- C++STL容器 - std::vector构造方式与分配值方式总结 阅读580次,点赞0次
- Pytorch - RuntimeError: No rendezvous handler for env://错误 阅读527次,点赞0次
- 资源分享 - 游戏物理引擎开发, Game Physics Engine Development 中文版PDF下载 阅读1408次,点赞0次
评论
164