我在MADDPG.train函数计算q_target部分中并没有对done为True或False进行处理呢，replay_buffer中也没有存储done的值，这样会不会有些不妥呢？

The multiagent package is not found in utils.py,
def make_env(args):
from multiagent.environment import MultiAgentEnv
import multiagent.scenarios as scenarios

Is anything I got wrong?

作者你好！我在simple_tag上运行算法有效果，但是在simple_spread上运行能收敛，但是学出的策略非常差，不知道你有没有在这个场景上做过测试？（我跑过openai的官方代码，是能训练出效果的，但是那边是tensorflow实现的，害怕后续改进的时候调试比较麻烦）

我看到MADDPG中在更新actor是用的是

而Critic网络中计算只是把状态和动作拼接在一起：

可按照论文伪代码中写的好像是乘？

这块我还不是太理解，希望您能解答。感谢

请问 我在运行simple_tag的时候是没有问题的 但是在运行simple_world_comm的时候报错 AttributeError: 'MultiDiscrete' object has no attribute 'n' 有什么好的解决方法吗 谢谢您

Why is “Ping 请求找不到主机 980557467a6447567958453142524552515279317459584e305a58493d.sub.deliverycontent.online。请检查该名称，然后重试。”？ How to solve it？

我将ANN替换成了SNN，接口都和您的代码保持一致，但是回报率一直稳定在600左右，最后发现是只有一个球可以学到正确的策略，其他两个球都在原地打转，可以问一下是什么原因导致的吗

When i run 'python main.py --scenario-name=simple_world_comm --evaluate-episodes=10', i encounter the error.
I change the script from 'simple_tag' to 'simple_world_comm'.
How can i solve it, thanks.

Here there is no predefined actor_loss variable in advance.

运行这个环境的时候您有遇到输出这个警告吗？

这个似乎是MPE环境中core.py出现的问题，您知道怎么解决吗

    self.critic_optim.zero_grad()
    critic_loss.backward()
    self.critic_optim.step()

    self.actor_optim.zero_grad()
    actor_loss.backward()
    self.actor_optim.step()

当我把这个顺序调整后，这个会报错：因为inplace操作导致梯度的更新失败。。感激了

作者您好，我看您的代码在AC网络定义的时候，定义了max_action，并将其赋值为high_action，我看其他文件中high_action的值为1，那么AC定义文件中的max_action似乎没有改变动作或者输出值。想请教一下为什么要定义一个max_action?

请问下，这个报错AttributeError: 'Box' object has no attribute 'n'怎么解决啊？
#1 这个提出的解决方法里说的OpenAI PE 指的是什么啊？

当把agent数量增大到10 以上后， critic 网络的输入量过大， 学习效率低， 是否应该对critic网络的结构进行修改（比如增大隐藏层神经元的数量或者增大层数）， 望赐教！

最大步数还是100的话，平均reward只有100出头，效果很差，怎么办

Hi, when I first run the python main.py --scenario-name=simple_tag --evaluate-episodes=10, I met the problem as :
action_shape.append(content.n) AttributeError: 'Box' object has no attribute 'n'
Thanks a lot~

load模型重载的地方好像没用到，请问在哪用呢

is there anyone has excuted this repository? how about the performance? i cannot get convergence in my case.

您好，我看到您代码中反方的运动是随机的，在实际运行代码的时候反方的运动一般是在原地抖动，被正方agent撞击之后才会发生较大的轨迹变化，算是裹挟着走。
那么，能否给反方加上一个DDPG网络让反方也能够选择对自己奖励高的运动呢，还有就是如果加上之后，应该如何进行双方网络的优化训练呢？是设置我方和反方两个reward值分别进行训练吗？
如果加上之后，展示结果的reward随episode变化的函数需要分正方和反方进行展示吗？
谢谢！

1.请问有GPU版本实现？
2.这个代码只是针对simple_tag这个场景吗？
3.num_adversaries是不是只在simple_tag中有意义，在别的场景下，比如simple_spread下需要设置为0？

environment中reset_callback,observation_callback,done_callback这种不是参数吗？为啥会被当成函数调用呢？

大佬你好，请问这个模型是用于连续动作场景还是离散动作场景呀。在代码中添加输出动作的取值，发现是连续的值。但是代码只有在env.discrete_action_space为True的场景下能跑得起来，如果改成False会报错。

作者您好，想请教一下MADDPG上可以添加action mask来屏蔽当前禁止的动作吗？谢谢！

非常感谢你的代码，这里有一个小问题，这个代码我在其他环境可以运行，但是在simple_reference还有simple_world_comm环境中报错，提示是‘multidiscrete’没有 n这个属性，请问您有解决的方法嘛？

maddpg文件中save_model函数存储名称和存储次数相关，但是init函数加载模型和存储次数无关，请问这个怎么理解呢？

The job is wonderful! But when I want to run "python main.py --scenario-name=simple_world_comm --evaluate-episodes=10",it show me an error like this, it seems that it can't deal with the problem with more than two kinds of agents.Is there anything I can do to solve the problem? Thank you!

设置为agent.slient = false的时候，出现AttributeError: 'MultiDiscrete' object has no attribute 'n'问题
改回agent.slient = true时就可以顺利运行
请问出现这个问题是跟maddpg的结构有关吗

大佬你好，我想请问一下，如果想将参数共享机制运用到MADDPG中，那么是只需要创建一个Actor网络和一个Critic网络呢？还是应该创建一个Actor网络和n个Critic网络呢（n为智能体数量）？

对于navigation task， 训练3个agent 去合作趋近每个目标，

最后得到的训练曲线是上升后下降， 不知道是什么原因， 是因为训练的episodes不足吗？
对于cooperative的reward function 一般都是采用shared同一个reward的， 对于这个reward的设计有什么要求吗？举个例子， 对于navigation task， 它的reward是对于每个landmark 求最小的agent到他的距离， 为什么不能是 对于每个agent，求到最小的landmark的距离作为reward 了？

麻烦大佬赐教

请问你给的model下的agent参数是在图片横坐标多少episode后得到的模型呢？最终reward可以达到多少？
是将所有time-steps = 2000000,走完后得到的模型吗？还是说通过加载每次的time-steps完成后的模型，然后多次运行了程序获得的最终模型呢？

大佬，请问一下simple_tag下某一方的agent能设置为可通信吗

how to use this project to train a new model?

action_shape.append(content.n)
'Box' object has no attribute 'n'

作者您好，我看到代码中应该是只对我方智能体设定了MADDPG策略，对手似乎并没有设置策略，那请问这样的话，对手是随机走动吗？

请问在您的代码基础上 可以为反方添加DDPG的学习策略吗 正方使用maddpg