When running fastmoe with model parallel, the training process hanged about fastmoe HOT 6 CLOSED

怀疑是因为 clip grads 的时候某些 expert 没有梯度, 导致不同 worker 之间 allreduce 的数据量不同

from fastmoe.

怀疑是因为 clip grads 的时候某些 expert 没有梯度, 导致不同 worker 之间 allreduce 的数据量不同

是的，这是一个存在问题的地方。所以，我修改了clip_gradients.py文件，注释掉其中的所有all_reduce操作。这样的话，训练可以进行数十到数百step，然后仍然hang。所以，应该还有其它地方存在通信不一致的问题。

from fastmoe.

我注意到您开了

       --tensor-model-parallel-size 2 \
       --pipeline-model-parallel-size 2 \

可以把这俩都改成 1 试试能不能跑吗?

from fastmoe.

可以把这俩都改成 1 试试能不能跑吗?

抱歉，上面的配置贴错了，正确的如下：

--tensor-model-parallel-size 2 \
--pipeline-model-parallel-size 1 \

所以，只是使用了模型并行。
当上面两个配置均为1时，即只使用数据并行+MoE，单机多卡配置下，可以正常运行。

from fastmoe.

看起来这个问题依然悬而未决. 我这里没有能复现这个问题. @sandyhouse 您这边有什么新的进展吗?

from fastmoe.

Closing due to lack of further response. Feel free to re-open if you have any progress.

from fastmoe.