tqxli / dannce-pytorch Goto Github PK

Li 你好，

Dannce 是一篇出色的工作，我们已经改编到项目中。最近想添加一些新的功能，pytorch 比原来的 keras 是一种更好的途径。所以关注到您的仓库。

我们适配Dannce 花了很大功夫，在于输入数据格式的适配。Dannce 是基于广追踪的标注，标注文件天然是一段连续的视频。然而这对广泛的实验来说，门槛较高。CV 界主要以图片标注为主，处理起来也相对简单，有成熟labelme，deeplabcut 和 Matlab-Label3D 等图片标注工具。比较灵活。希望 dannce-pytorch 今后可以考虑用图标格式，更容易推广。

有一些我个人的观点，可能比较苛刻。COM3D 的网络比较鸡肋，费力不讨好，不如舍去。在2D图片的识别上，用 YOLO 目标检测和 DLC 关键点识别也能做相同的事情。SLEAP 也做过类似。横向比较 COM3D 既没什么新功能，在准度速度上可能也没有改进，学界可能也不会积极评价这个工作。我就没有用过COM3D的模型，而是用其它工具生成的com3d数据文件。建议重点放在二阶段的 VoxelPose，提供格式统一 com3d 的文件规范就行。

再者，DANNCE-pytorch 的架构逐渐膨胀，里面的各种设置相当冗长。许多功能，我都需要关掉，获取一个比较纯粹的 dannce 流程。基础版本就足够好用。加入太多功能导致分支太多 。 例如 dannce 的 generator 就有 tf/numpy/torch 3种方式，简直头疼；dannce-pytorch generator 也同样很多。又例如，我们实践中MAX 会胜一筹（CV界在2D的关键点识别也主要用MAX），同时保留AVG和MAX的配置，这样的代码太冗长了，阅读起来也很吃力。。。好消息是 DANNCE-pytorch 似乎加入了更多的优化技巧--数据增强&损失计算函数，这可能会帮助。

我正在改造dannce-pytorch，上述问题我自己能够handle. 也祝你科研顺利。

Chen