前回の記事で、LLMを使用して数学的発見を行うFunSearchの論文を紹介した。 FunSearchは、LLMを使用してプログラムの変更を行い、進化的アルゴリズムでスコアの高いプログラムを選別することで、最適な解を出力するプログラムを生成する。 この仕組みは、深層学習のモデル構造の改良にも使えないかと思い試してみた。 進化的アルゴリズムを行うには評価に時間がかかるため、今回はLLMにより、モデル構造を変更する部分を試した。 対象 dlshogiで使用しているResNetブロックを初期バージョンとして、改善したバージョンをLLMに出力させる。 class ResNetBlock(nn.Module): def __init__(self, channels, activation): super(ResNetBlock, self).__init__() self.conv1 = nn.C
![TadaoYamaokaの開発日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/06a15c64ba0ceec233d86d71001ebb29a9dcbf5d/height=288;version=1;width=512/https%3A%2F%2Fcdn.blog.st-hatena.com%2Fimages%2Ftheme%2Fog-image-1500.png)