本教程基于horovod分布式训练框架，支持keras, tensorflow和pytorch

以下相关版本已经过测试：

• keras: 2.2.2
• tensorflow: 1.10.0
• pytorch: 0.4.0

本教程针对ShanghaiTech AI集群

• Container开启时需使用-network=host
• 确保每个节点的hostname是不相同的，hostname请勿使用 .

以下软件均在计算节点安装

1. 下载 NCCL 2.

2. 安装步骤 here.

3. If you have installed NCCL 2 using the nccl-<version>.txz package, you should add the library path to LD_LIBRARY_PATH environment variable or register it in /etc/ld.so.conf.

$ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/nccl-<version>/lib

1. 下载最新版安装包 Open MPI
2. 安装步骤 here.
3. ldconfig

• 安装keras,tensorflow,pytorch

pip install keras==2.2.2 tensorflow-gpu==1.10.0 torch==0.4.0 torchvision
HOROVOD_NCCL_HOME=/usr/local/nccl-<version> HOROVOD_GPU_ALLREDUCE=NCCL pip install --no-cache-dir horovod

参见examples中的README.md