DL基礎講座2023 最終課題
このプログラムは、学習率を「探索」して、良い値を見つけることができます。(言語:Python)
DL基礎講座2023の第11回「変分オートエンコーダ(VAE)を用いてFasionMNISTの画像を生成してみましょう」で、検証しました。 学習速度によっては、試行回数を変える必要があるかもしれませんが、学習率を考える必要はありません。
Google Colaboratory
tfujiwara20230801a.pdf
- FinalProj/notebooks には、Google Colab用の notebookファイルがあります。Colabの各.ipynbファイルには、実行結果も残っています。
- FinalProj_py/src には、Pythonのソースコードファイルがあります。(Google Colabから生成したもの)
各ソースコードファイルの役割は以下の通り。
- 学習率探索プログラム。50エポック繰り返しながら、良い値の付近を桁を増やしながら探索します。
- Phase1: 探索フェース(実行結果入り)。良い学習率を探します。 ※時間がかかります。
- Phase2: 活用フェーズ(実行結果入り)。
- Phase1で得られた学習率 0.00038 を使って400エポック実行した結果が入っています。
- Phase2: 活用フェーズ(実行結果入り)。
- Phase1で得られた学習率 0.00041 を使って400エポック実行した結果が入っています。
- 結果の比較用に用意した、コサインアニーリングによる学習率と検証結果を得るプログラム。
(実行結果入り)コサイン分割50回。
- 結果の比較用に用意した、コサインアニーリングによる学習率と検証結果を得るプログラム。
(実行結果入り)コサイン分割100回。
- 結果の比較用に用意した、コサインアニーリングによる学習率と検証結果を得るプログラム。
(実行結果入り)コサイン分割200回。
- 結果の比較用に用意した、コサインアニーリングによる学習率と検証結果を得るプログラム。
(実行結果入り)コサイン分割400回。
- 結果の比較用に用意した、手探り(通常の固定学習率でエポックを繰り返す)プログラム。
(実行結果入り)学習率0.0003
- このプログラム自体が、試行錯誤で開発した段階であり、洗練された状態まではできていません。
テストによればBugはありません。 - データは、東京大学 松尾研究室 DL基礎講座2023で提供されたものです。