请问现在Train_PPO_llama_ray 过程中会把Actor Model切分到不同卡上吗？如果我在使用一个很大的pertained model作为actor, 怎样

感谢！不好意思还有最后一个问题。openrlhf/trainer/ray/launcher.py中的写法是 <div class="highlight highli

现在Train_PPO_llama_ray 过程中会把Actor Model切分到不同卡上吗 about openrlhf HOT 4 CLOSED

shenlayu commented on July 30, 2024

现在Train_PPO_llama_ray 过程中会把Actor Model切分到不同卡上吗

from openrlhf.

Comments (4)

hijkzzz commented on July 30, 2024

会的用 ZeRO3 即可

from openrlhf.

shenlayu commented on July 30, 2024

会的用 ZeRO3 即可

感谢！所以开zero2的时候，每张卡上num_gpus_per_actor无论设置为几显存都一样大是正常现象吗？这个值是否不应该大于1？

from openrlhf.

hijkzzz commented on July 30, 2024

会的用 ZeRO3 即可

感谢！所以开zero2的时候，每张卡上num_gpus_per_actor无论设置为几显存都一样大是正常现象吗？这个值是否不应该大于1？

开zero2 optimizer会切片 num_gpus_per_actor越大占用内存越小。

from openrlhf.

shenlayu commented on July 30, 2024

感谢！不好意思还有最后一个问题。openrlhf/trainer/ray/launcher.py中的写法是

for rank in range(1, world_size):
    local_rank = rank % self._num_gpus_per_node
    if pg:
        worker_actor = self.ray_actor_type.options(
            num_cpus=num_gpus_per_actor,
            num_gpus=num_gpus_per_actor,
            resources=self._resources,
            scheduling_strategy=PlacementGroupSchedulingStrategy(
                placement_group=pg,
                placement_group_bundle_index=rank // self._num_gpus_per_node,
            ),
        ).remote(world_size, rank, local_rank, master_addr, master_port)