TadaoYamaokaの開発日記
前回の記事で、LLMを使用して数学的発見を行うFunSearchの論文を紹介した。 FunSearchは、LLMを使用してプログラムの変更を行い、進化的アルゴリズムでスコアの高いプログラムを選別することで、最適な解を出力するプログラムを生成する。 この仕組みは、深層学習のモデル構造の改良にも使えないかと思い試してみた。 進化的アルゴリズムを行うには評価に時間がかかるため、今回はLLMにより、モデル構造を変更する部分を試した。 対象 dlshogiで使用しているResNetブロックを初期バージョンとして、改善したバージョンをLLMに出力させる。 class ResNetBlock(nn.Module): def __init__(self, channels, activation): super(ResNetBlock, self).__init__() self.conv1 = nn.C
WhisperのモデルをONNXにする - TadaoYamaokaの開発日記
WhisperのモデルをONNXに変換する方法について記述する。 Whisperのモデル WhisperのモデルはPyTorchを使ってPythonで実装されている。 そのため、実行にはPyTorchをインストールしたPython環境が必要になる。 環境構築なしでスタンドアロンで利用できると用途が広がる。 また、アプリへの組み込みも行いやすくなる。 ONNXモデル ONNXは、ニューラルネットワークの標準ファイルフォーマットである。 モデルをONNXにすると、ONNX Runtimeなどの推論用のライブラリを使って推論できる。 推論用のライブラリは、組み込みで使うことを意図しているので、スタンドアロンのアプリに組み込むことができる。 ONNXへの変換 WhisperのモデルからONNXへの変換は、pytorch.onnxを使って行う。 ただし、Whisperは、デコーダのループ処理で、前の
WindowsにWhisperをインストールする - TadaoYamaokaの開発日記
先日、OpenAIが公開したオープンソースの音声認識ソフトウェアであるWhisperをWindowsにインストールする方法について記載する。 Anaconda(Miniconda)のインストール Anacondaもしくは、Minicondaをダウンロードして、インストールする。 必要に応じて仮想環境を作成して、activateする。 PyTorchインストール コマンドプロンプトから以下のコマンドでPyTorchをインストールする。 conda install pytorch torchvision torchaudio cudatoolkit=11.6 -c pytorch -c conda-forgeNVIDIAのGPUが未搭載のPCの場合は、CPU版をインストールする。 conda install pytorch torchvision torchaudio cpuonly -c p
【書籍】将棋AIで学ぶディープラーニング - TadaoYamaokaの開発日記
「将棋AIで学ぶディープラーニング」という本を出版します。 昨年10月に技術書典3で「ディープラーニングを使った将棋AIの作り方」という技術系同人誌を出したことをきっかけに書籍化のお話をいただきました。 技術書典で出した本は、方策ネットワークを使った将棋AIの作り方でしたが、書籍の方では、将棋AIの作成を通してディープラーニングを学べるというコンセプトで執筆しています。 実際に動かせるコードを作ってみるというのが技術を学ぶために有効な方法だと思います。 私自身、AlphaGoのクローンと、ディープラーニングを使った将棋AIを作ったことでディープラーニングについて理解を深めることができたと思っています。 ディープラーニングを使って学習させた将棋AIを実際に動かしてみることで、ディープラーニングを体験して欲しいという想いで書きました。 内容は、3部構成で、 1部ではコンピュータ将棋の概要につい
TensorFlowの公式Windowsバイナリをインストールして動かす - TadaoYamaokaの開発日記
2017/2/18追記 1.0正式版がリリースされましたので、この記事の内容は古くなっています。正式版のインストールについてこちらの日記に書きました。 先日TensorFlowがWindowsでビルドできるようになったという記事を書いたが、公式からバイナリのインストーラが提供された。 https://www.tensorflow.org/versions/r0.12/get_started/os_setup.html#pip-installation-on-windows さっそくインストールしてMNISTサンプルを動かすことができたので、手順を示しておく。 基本的に公式のドキュメント通りでインストールできた。 前提ソフトウェアとして、以下のソフトウェアをインストールしておく。 Python 3.5 (Anaconda 4 64-bit) NVidia CUDA Toolkit 8.0 N
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ディープラーニングを使った将棋AIの作り方 - TadaoYamaokaの開発日記