takuseno / wba-hackathon Goto Github PK

9/13に最終ミーティング

松森

• 環境構築
• A3Cで学習可能か検証

妹尾

• A3C+NECを検証

トキシー

• CA1周りの構想
• 英雄研の計算機が使用可能なら環境構築

滝本さん

• TensorFlowでのProgressive Neural Networkの実装について考える
• 滝本さんの計算機が使えるなら環境構築

モジュールの概要

実装する全脳アーキテクチャの概要は以下のとおりである。

• 海馬モジュール
• 新皮質モジュール
• 基底核モジュール
  

海馬の実装

海馬モジュールの機能

エピソード記憶

海馬の出力部分にNeural Episodic Controlで用いられているDifferential Neural Dictionaryを実装する
これによって、少ない学習で行動選択が行える
NECとは違い、提案モデルはA3Cによって学習を行うので

• キー
  • 海馬台の出力
• 値
  • 行動の選択確率、基底核の推定した価値

参考

• https://arxiv.org/abs/1703.01988

空間認知

CA1に空間認知に関わる細胞が多い
今回の提案モデルではCA1で補助タスクを用いて
それらの再現と探索タスクの性能の向上を目指す

• 場所細胞
  • 訪れた場所かどうかを推定する教師あり学習
• グリッド細胞
  • 移動量を推定する教師あり学習
• ヘッドディレクション細胞
  • 頭部方向を推定する教師あり学習

参考

• https://arxiv.org/abs/1611.03673
• https://arxiv.org/abs/1611.05397

海馬モジュールの構造的特徴

歯状回

歯状回では新生ニューロンが誕生することがわかっている。
今回のモデルではProgressive Neural Networkを用いてインクリメンタルに
ネットワークが拡張できるように実装を行う。

参考

• https://arxiv.org/abs/1606.04671

CA3

CA3では再帰的な神経投射が行われている。
今回のモデルではRCモデルの一種であるEcho State Networkを用いることで
時系列データを扱い、連想記憶装置としての機能も実装する。

学習方法

「海馬モジュール」「基底核モジュール」「新皮質モジュール」はA3Cによって学習を行う。 この際、Actorは「海馬モジュール」、Criticは「基底核モジュール」に該当する。 AC3を用いることで、従来手法(NEC)では実現できなかったRNNの実装を可能とする。また、基底核がTD誤差の計算を行い、海馬は行動選択をしている観点からもDQNではなくA3Cで学習を行うことは妥当だと考えられる。

参考

• https://arxiv.org/abs/1602.01783

資料

• google Slides

概要

トリシナプティック回路において、「場所細胞」「ヘッドディレクション細胞」「グリッド細胞」
が存在する�CA1を工学的に実装する。

概要

トリシナプティック回路において、「新生ニューロン誕生」が見られる歯状回をProgressive Neural Networkを参考に工学的に実装する。

概要

素のA3CがBrica Module上で動くか検証する。