オセロで強化学習をする【vs ランダム君】

タイトル通りランダム君を相手に強化学習をしてみました。 networkに与える入力値のサイズは8*8*3 一層目には自分の石の情報 二層目には相手の石の情報 三層目には合法手の情報 を0と1のみで表現しています。 network構造は フィルターサイズが108のcnnを12層 ユニットサイズが512の全結合層が5層となっています。 活性化関数はprelu(マイナスの値を自動で学習してくれる関数) 活性化の前にbatch_normalizationを挟んでいます。 出力層は64個のsoftmax関数です。 学習時のドロップアウトはcnnと全結合共に0.5です 学習で使うデータはランダム君との対局データをそのまま使います。 勝った試合はその試合中にとった全ての行動を正解とし、その行動がより出やすくなるように勾配下降します。 負けた試合は反対に、その行動が出にくくなるように勾配下降します。 正解