デバッグ の過程をまとめる。ほぼ自分用。 PyTorch でも tensoarboard を使ってたくさんログをとる。ログをとればおかしいところはみつかる。 ログすべきもの observation を tensorboard で visualize する。 次の最善手が分かっている observation を手動で作る。policy network が出力する action values を tensorboard に出力する。その action value が最善手に converge するか見守る loss benchmark agent との対戦結果。win rate ではなくて win/draw/lost 数をプロットする。 1 episode の長さをプロットする。self play では徐々に長くなることが想定される self play でなければ average reward