DL基礎講座2023 最終課題

このプログラムは、学習率を「探索」して、良い値を見つけることができます。（言語：Python）

DL基礎講座2023の第11回「変分オートエンコーダ（VAE）を用いてFasionMNISTの画像を生成してみましょう」で、検証しました。 学習速度によっては、試行回数を変える必要があるかもしれませんが、学習率を考える必要はありません。

Google Colaboratory

最終課題説明動画1080p.mp4

tfujiwara20230801a.pdf

• FinalProj/notebooks には、Google Colab用の notebookファイルがあります。Colabの各.ipynbファイルには、実行結果も残っています。
• FinalProj_py/src には、Pythonのソースコードファイルがあります。（Google Colabから生成したもの）
  各ソースコードファイルの役割は以下の通り。

• 学習率探索プログラム。50エポック繰り返しながら、良い値の付近を桁を増やしながら探索します。
• Phase1: 探索フェース（実行結果入り）。良い学習率を探します。 ※時間がかかります。

• Phase2: 活用フェーズ（実行結果入り）。
• Phase1で得られた学習率 0.00038 を使って400エポック実行した結果が入っています。

• Phase2: 活用フェーズ（実行結果入り）。
• Phase1で得られた学習率 0.00041 を使って400エポック実行した結果が入っています。

• 結果の比較用に用意した、コサインアニーリングによる学習率と検証結果を得るプログラム。
  （実行結果入り）コサイン分割50回。

• 結果の比較用に用意した、コサインアニーリングによる学習率と検証結果を得るプログラム。
  （実行結果入り）コサイン分割100回。

• 結果の比較用に用意した、コサインアニーリングによる学習率と検証結果を得るプログラム。
  （実行結果入り）コサイン分割200回。

• 結果の比較用に用意した、コサインアニーリングによる学習率と検証結果を得るプログラム。
  （実行結果入り）コサイン分割400回。

• 結果の比較用に用意した、手探り（通常の固定学習率でエポックを繰り返す）プログラム。
  （実行結果入り）学習率0.0003

• このプログラム自体が、試行錯誤で開発した段階であり、洗練された状態まではできていません。
  テストによればBugはありません。
• データは、東京大学 松尾研究室 DL基礎講座2023で提供されたものです。

• https://deeplearning.jp/lectures/deep-learning-foundation/
  
• https://weblab.t.u-tokyo.ac.jp/deeplearning基礎講座の演習コンテンツの無償公開/