raahii / dcvgan Goto Github PK

デプスとセマンティックセグメンテーションを幾何学的情報として提案手法に導入し，生成結果を比較する．ひとまず両情報がラベルデータとして含まれている SURREAL dataset を用いる．

• データ前処理
• データセット
• セマンティックセグメンテーションのモデルへの導入

• "Zero-Shot Generation of Human-Object Interaction Videos"
• 前のフレームとの差分を取ったテンソルを入力して本物らしさを評価するdiscriminator．
• "Gradient discriminator enforces temporal smoothness by learning to differentiate between the temporal gradient of a real video and a generated video"

条件付ける幾何学情報に Optical Flow を追加する．

• GeometricVideoGenerator の出力がOptical Flowの動画となり，長さが1短くなる．
• ColorVideoGenerator においても入力の動画長が出力の動画長よりも1短くなる．
• ImageDiscriminator において，入力ペア(xg, xc)の対応するフレームが2枚: 1枚となる（Optical Flowは2つのカラー画像に対応するため）
• VideoDiscriminator において，入力の xg の長さが1短くなる
• データセットの各動画から Optical Flow を事前計算して保存しておく．

実行時エラーうざいので気休めに．docstringはとりあえずnumpyスタイルというやつで．

• type hint の追加
• docstring の追加
• READMEの更新

Optical Flowでの動画生成がモードコラプスになるので幾何学情報を生成するgeneratorを改善数する．

• 幾何学情報を生成する G の容量を上げる．
• Optical Flow を RGB 表現で学習する．
• Optical Flow のヒストグラムが 0 付近に偏っているため，正規化の方法を改める．