大脳基底核と強化学習 - 人工知能に関する断創録

の関係について調べたのでざっとまとめておく。 大脳基底核は昔から行動に関係しているということは分かっていたが、詳しい機能は分かっていなかったらしい（実際、1980年あたりの脳の本を読んでも謎と書いてあった）。しかし、最近の研究でドーパミンを報酬とし、その報酬を予測をもとに目的指向的な行動を組み立てる役割が分かってきた*1。ドーパミンは大脳基底核に強く作用する。ちなみに、ドーパミンというのは快楽物質。動物の場合は生存と繁殖に関わること、例えば、水、餌、交尾行動などでドーパミンが増え、それを報酬とする強化学習と見ることができる。ヒトはそれだけじゃなくドーパミンが出る別の報酬の形態もあるとは思う。ヒトは本能だけで動かないから。 上にあげた大脳基底核の特徴、報酬をもとにする学習、報酬の予測（＝価値の評価）、目的指向的というのはぴったり強化学習の特徴と一致する。中でも報酬の予測と言うのは、TD学習を