本教程基于horovod分布式训练框架,支持keras, tensorflow和pytorch
以下相关版本已经过测试:
- keras: 2.2.2
- tensorflow: 1.10.0
- pytorch: 0.4.0
本教程针对ShanghaiTech AI集群
- Container开启时需使用
-network=host
- 确保每个节点的hostname是不相同的,hostname请勿使用
.
以下软件均在计算节点安装
-
下载 NCCL 2.
-
安装步骤 here.
-
If you have installed NCCL 2 using the
nccl-<version>.txz
package, you should add the library path toLD_LIBRARY_PATH
environment variable or register it in/etc/ld.so.conf
.
$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/nccl-<version>/lib
- 安装keras,tensorflow,pytorch
pip install keras==2.2.2 tensorflow-gpu==1.10.0 torch==0.4.0 torchvision
HOROVOD_NCCL_HOME=/usr/local/nccl-<version> HOROVOD_GPU_ALLREDUCE=NCCL pip install --no-cache-dir horovod
参见examples中的README.md