【dlshogi】軽量価値ネットワーク - TadaoYamaokaの開発日記

NNUEとは別のアーキテクチャで軽量の価値ネットワークを学習して、Stockfish系のヒューリスティック探索と組み合わせられないか検討したいと思っている。 軽量の畳み込みニューラルネットワークを使うことで、NNUEに匹敵する軽量モデルを学習することを目指したい。 検討中のアーキテクチャ 入力層 入力層は、NNUEではEmbeddingの重みを辞書引きすることで計算を省いている。 軽量モデルにおいて、Embeddingを使うことは必要と考える。 1x1の畳み込みは、Embeddingに置き換えることができるため、dlshogiの入力層の内、盤上の駒の配置と、持ち駒を1x1の畳み込みで埋め込みベクトルにする。 盤上の駒は、座標ごとにワンホットで表すことができるため、Embeddingを使用する。 持ち駒は、駒の種類と枚数がマルチホットになるため、EmbeddingBagを使用する。 持ち駒の