qwen2 72B PPO OOM about openrlhf HOT 5 OPEN

奇怪的问题，可能是没有flash_attn导致的？请问具体是哪个环节OOM了？

补充建议：
可以参考这个脚本合并reward critic 以及 actor ref 速度会更快：https://github.com/OpenLLMAI/OpenRLHF/blob/main/examples/scripts/train_ppo_llama3_ray_colocate.sh
vllm engine=4 tp_size = 4
actor gpus=8
critic gpus=8

from openrlhf.

贴一下环境信息吧？比如ds版本、flash_attn

from openrlhf.

贴一下环境信息吧？比如ds版本、flash_attn

deepspeed 0.12.3+00df0c19
flash-attn 2.3.3
torch 2.2.1
torchaudio 2.2.1
torchvision 0.17.1
vllm 0.4.1
vllm-nccl-cu12 2.18.1.0.4.0
cuda版本12.2

from openrlhf.

奇怪的问题，可能是没有flash_attn导致的？请问具体是哪个环节OOM了？

补充建议： 可以参考这个脚本合并reward critic 以及 actor ref 速度会更快：https://github.com/OpenLLMAI/OpenRLHF/blob/main/examples/scripts/train_ppo_llama3_ray_colocate.sh vllm engine=4 tp_size = 4 actor gpus=8 critic gpus=8

from openrlhf.

奇怪的问题，可能是没有flash_attn导致的？请问具体是哪个环节OOM了？
补充建议： 可以参考这个脚本合并reward critic 以及 actor ref 速度会更快：https://github.com/OpenLLMAI/OpenRLHF/blob/main/examples/scripts/train_ppo_llama3_ray_colocate.sh vllm engine=4 tp_size = 4 actor gpus=8 critic gpus=8

试了还是一样的问题，你们又遇到类似的问题吗？感觉像是ray的问题。我的ray是2.20版本

CPU 内存不够 不足以放下 adam optimizer?
docker 环境推荐试试 https://github.com/OpenLLMAI/OpenRLHF/tree/main/dockerfile

from openrlhf.