请问Reliable patch pool里面会保存所有过去帧的信息还是只保存第一帧和前一帧的信息？ about rpcmvos HOT 4 CLOSED

您好，仔细拜读了您的大作，有个问题还是没看明白想请教一下，请问随着迭代更新Reliable patch pool里面会保存所有过去帧的信息还是只保存第一帧和前一帧的信息？Reliable patch pool和基于stm的方法的momory read有什么区别？谢谢！

顺便再问一下，如何Update Reliable patch pool，是不断的把历史帧的特征逐渐加进去吗？

from rpcmvos.

感谢您的关注！

1. reliable patch pool会保存历史帧中根据reliability筛选过后的信息
2. patch pool本质上也是在构建一种memory，不过我们这里的构建方法以及使用方法和STM的方案不一致。我们的模型采用了基于可靠性度量来区别对待correction prior（比如第一帧的GT和 其他历史帧中的可靠信息）和propagation prior(比如前一帧prediction)，而STM对所有的历史帧是同等对待的，容易产生error propagation的问题。
3. reliable patch pool的更新方案，是每5帧update（添加）一次(这里follow了memory-based的一些方法的参数)，可以看algorithm部分。具体地是说根据prediction uncertainty指标（这里采用的是shannon entropy）来把一些image-level feature patch retrieve到pool里,进一步用来算correlation和构建instance proxies。

我们在这里想提出的insight是： 对于video相关的一些任务，可以用历史帧中的可靠的信息来抑制误差传播。具体的implementation上，其实这个paper里的方案是比较naive的。在可靠性的定义和建模以及其他video相关任务的泛化性等方面，有待进一步完善和探索。也欢迎进一步交流~

from rpcmvos.

感谢您的关注！

1. reliable patch pool会保存历史帧中根据reliability筛选过后的信息
2. patch pool本质上也是在构建一种memory，不过我们这里的构建方法以及使用方法和STM的方案不一致。我们的模型采用了基于可靠性度量来区别对待correction prior（比如第一帧的GT和 其他历史帧中的可靠信息）和propagation prior(比如前一帧prediction)，而STM对所有的历史帧是同等对待的，容易产生error propagation的问题。
3. reliable patch pool的更新方案，是每5帧update（添加）一次(这里follow了memory-based的一些方法的参数)，可以看algorithm部分。具体地是说根据prediction uncertainty指标（这里采用的是shannon entropy）来把一些image-level feature patch retrieve到pool里,进一步用来算correlation和构建instance proxies。

我们在这里想提出的insight是： 对于video相关的一些任务，可以用历史帧中的可靠的信息来抑制误差传播。具体的implementation上，其实这个paper里的方案是比较naive的。在可靠性的定义和建模以及其他video相关任务的泛化性等方面，有待进一步完善和探索。也欢迎进一步交流~

@JerryX1110 好的，明白了，非常感谢您详细的解释，感觉受益匪浅，我是中山大学一名博士生，研究方向就是VOS，我想进一步再深入研究您这篇大作，为了方便交流，能否添加一下您的微信。我的邮箱是：[email protected]。已whach 加 star。

from rpcmvos.

Okay, welcome!

from rpcmvos.