エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
将棋AIの実験ノート:活性化関数Mishを試す - TadaoYamaokaの開発日記
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
将棋AIの実験ノート:活性化関数Mishを試す - TadaoYamaokaの開発日記
以前にdlshogiのモデルで活性化関数をReLUからSwishにした場合の比較を行った。 今回は、活性化関数Mish... 以前にdlshogiのモデルで活性化関数をReLUからSwishにした場合の比較を行った。 今回は、活性化関数Mishを試した。 Mish Mishは、 で表される活性化関数である。 論文によると、6層CNNのCIFAR-10の訓練で、Swishの正解率を上回ると報告されている。 [1908.08681] Mish: A Self Regularized Non-Monotonic Activation Function PyTorchの実装 Mishの論文が出た直後に、PyTorchにリクエストのissueが上がっていたが、コミュニティに広く受け入れられていないという理由でリジェクトされていた。 しかし、PyTorch 1.9で、標準機能として実装されていた。 Mish — PyTorch 1.10 documentation PyTorchに実装されていないため、dlshogiで試すの