StyleGANに必要なmoduleを教えて下さい about gan_sample HOT 8 CLOSED

同僚がこれを見て、大容量のGPUをつんだwndows10で試したいとせがまれました。
すでにanacondaはinstallされていますが、今回のStyleGANを動させるのに不足なmoduleを特定できませんでした。
可能であれば、何が必要なのか教えていただけませんか。

google colaboratory上で作成したrequirement.txtを添付しますので、そちらをご確認ください。
requirement.txt

保存されるmodelですが、学習が完了するまですべてを保存する必要はないと考えてますが、正しいでしょうか。
fileサイズがかなり大きいので、defaultの４倍の間隔でも大変です。
今の所、学習を途中でとめる時点でのmodelのみを保存し、それ以前は消去します。
ただし学習が最終段階に近づいた時点で、保存間隔を狭め、modelも残していく予定です。
このやり方で大丈夫でしょうか。

良いと思います
私はFIDが良い値になった場合のモデルファイルだけを残していました。

今回のcodeを用いて、他のdata-setを試す事は可能でしょうか。
我々は工業材料の電子顕微鏡の画像を扱っており、対象は人ではなく、画像もgray-scaleです。
もし修正したほうが良い所があればご指摘くださると助かります。

gray scaleではない画像は試された方がいるようで、それについては動作したようです。
確かCelebAというdatasetだったかと思います。
gray scaleは想定していないので、改修は非常に難しくなると思います。
group convやupsampling時にbilinearを独自実装(NVIDIAが)したりしているので、それらに対して辻褄を合わせるのは至難の技だと思います。

from gan_sample.

h-s-dev 様

回答ありがとうございます。
最後の回答について質問させてください。

今回のモデルはRBGの人の画像を対象にしておりますが、人以外のRGB画像は難しいということでしょうか。

from gan_sample.

今回のモデルはRBGの人の画像を対象にしておりますが、人以外のRGB画像は難しいということでしょうか。

論文では人以外にも部屋の写真、車の写真などを生成しているようなので、人だけではないかと思います。
実際のところ、試してみないと分からないとは思いますが。
私は業務で人以外の物体についてStyleGAN2で生成を行いました。
生成画像はわりと良い感じになったと思います。
StyleGAN2で生成した画像を組み込み、semantic segmentationの学習を行ったところ多少精度が上がりました。

下記がStyleGAN2の論文になります。
こちらもご参考にされると良いかと思います。
https://arxiv.org/pdf/1912.04958.pdf

from gan_sample.

h-s-dev 様

ありがとうございます。
こちらでも試してみます。

from gan_sample.

半日ほどfidが表示さず、質問を書いていましたところ、つい先程回復しました。
なぜでしょう？
logが大きいと読み込みに時間がかかるのでしょうか。
ですので、以下途中経過になります。

手元のPCで動作させて６日ほど立ちました（4/7 夜開始）。
昨晩、原因不明でprogramがfreezeしてしまいました。
キーボードも受け付けてくれませんでした　(tmuxを使ってますが、まさかそれが原因？)。
やむえずPCを再起動して、再度programを動作させました。

4日ほど立った時点でfidが最小になって、再び上昇しました。
fidが悪くなったにもかかわらず、画像の質は向上しているようでした。
現在も画質は向上してますが、悪くなるときもあるようです。
画像サイズが128x128pxですので、ぼちぼち限界でしょうか。

以下にtensorboardの一部を添付しました。

生成される画像の質が良くなってきていますが、顔や体がやや歪です。
水着の色や形はリアリティが高く、感心しています。
このような画像が手元のPCでも容易に生成できるように、programを作成されましたh-s-dev 様に感謝します。

現状の画像を付けておきます。

from gan_sample.

半日ほどfidが表示さず、質問を書いていましたところ、つい先程回復しました。
なぜでしょう？
logが大きいと読み込みに時間がかかるのでしょうか。

fidの計算はofficialの実装でV100を使用してもかなり時間がかかります。
あとは私の移植が最適化されていないために遅い可能性があります。
こう直したほうが良いなどの改善点がありましたら、コードを修正しpull requestを上げてください。

画像サイズが128x128pxですので、ぼちぼち限界でしょうか。

128 × 128の場合は情報量が少ないので、私が試した時も良い精度の画像を生成することは難しかったです。
256 × 256でも今ひとつの精度だったので、最終的には512 × 512の画像を使用しました。
Google Colabo proを5回線ほど契約し、V100が出るまでGPUガちゃを毎日行い、3ヶ月ほど色々試してようやく生成したのが、サンプルコードのトップに掲載している画像になります。

from gan_sample.

h-s-dev様
回答ありがとうございます。
あの結果を出すのは大変な仕事量ですね。
こちらも先程まで動かしていましたが、128px では限界のようですので、やめることにしました。
programについては読み切れていませんが、参考になることがあればご連絡します。

他の人の参考までにtensorboardと画像を貼り付けておきます。
128x128で約9日稼働後の結果です。
3回に分けたので、同じグラフが3つあります。
各グラフの最後がfidです。

ここまでの画像を見ていると、顔や腕の表現が難しいようです。
胸や体幹、水着（模様は微妙）、背景は自然な感じがします。
波長が長い構造は容易だが、短いものは難しい？
当然か。。。

from gan_sample.

ここまでの画像を見ていると、顔や腕の表現が難しいようです。
胸や体幹、水着（模様は微妙）、背景は自然な感じがします。
波長が長い構造は容易だが、短いものは難しい？
当然か。。。

顔は細かいので難易度は高いですが、512で学習を頑張るとある程度は見れる感じになると思います。
顔と体がそれなりに見れるようになっても最後は手や指が綺麗に生成されないことが多いです。

データ数は2万件ぐらいですが、augmentationを行っているので元のデータ数は2000件ほどです。
もしかしたら元のバリエーションが足りないのかもしれません。
サイズ512をGoogle colaboで学習するとバッチ数が4と少なくなってしまうので、もしかしたらそれが原因かもしれません。

良い画像が生成できたら、またご連絡ください。

from gan_sample.