拡散モデルで将棋の方策を学習する その３ - TadaoYamaokaの開発日記
前回、拡散モデルで将棋の方策を学習できることを確認した。今回は、マルチGPUで学習できるように学習処理をPyTorch Lightningで実装し直す。 LightningCLI LightningCLIを使うと、ハイパーパラメータやオプティマイザの設定をconfigファイルに記述できて便利である。 モデルクラスと、データクラスを定義すると、以下のように記述するだけで、学習部を実装できる。 LightningCLI(DiffusionPolicy, MyDataModule) 実行するときは、サブコマンド「fit」を指定して python train_lightning.py fit --config config.yamlのように実行する。 データローダ 前回データローダをシングルワーカで実行していたが、複数ワーカで実行できるように、データローダをマルチプロセスに対応した。 データローダ
Llama2の70Bモデルを4bit量子化して1GPUで実行する方法 - TadaoYamaokaの開発日記
個人メモ Hugging Faceで公開されているLlama2のモデルを使用して、4bit量子化を有効にして、70Bのモデルを1GPU(A100)で推論する方法について記述する。 dockerコンテナ作成 NVIDIAのPyTorchイメージを使用してDockerコンテナを作成する。 ※ホストのドライババージョンが古いため、少し前のイメージを使用している。 コマンド例 docker run --gpus all --network host -v /work:/work -w /work -it nvcr.io/nvidia/pytorch:22.12-py3 PyTorchバージョンアップ xformersがpytorch 2.0.1を要求するためPyTorchをアンインストールしてからインストール pip uninstall torch torchvision torchtext to
拡散モデルの実装を理解できるノートブック - TadaoYamaokaの開発日記
拡散モデルの実装を理解するために、こちらのノートブックがとても分かりやすかったので紹介する。 diffusion-models-class/unit1 at main · huggingface/diffusion-models-class · GitHub 拡散モデル(DDPM)を、以下のように段階的に実装して確認できるようになっている。 画像に一様ランダムのノイズを加える UNetでノイズを加えた画像から元画像を予測する ランダム画像から段階的にUNetでノイズを除くことで鮮明な画像を生成する UNetをDiffusersのUNetに置き換えることでより鮮明な画像が生成できることを確認する ノイズを一様ランダムではなくガウス分布に変更し、あるタイムステップでのノイズを算出する 元画像ではなくノイズを予測するようにする 元のノートブックにGoogle翻訳を追加したノートブック 説明を読み
いらすとやでTextual Inversionを試す - TadaoYamaokaの開発日記
Stable Diffusionの追加画像によるスタイル学習の方法として、「Textual Inversion」という方法がある。 これは、3~5枚の画像を用いて、スタイルを表す新規の単語の埋め込みベクトルを学習する方法である。 既存のパラメータは一切更新しないで、既存モデルに新規の単語を追加することで、その単語が追加画像のスタイルを表すように学習される。 使用する画像は、配色やスタイルが統一されている必要がある。 ここでは、いらすとやの画像を使って、Textual Inversionを試してみた。 手順は、↓こちらのページの解説を参考にした。 note.com 追加画像 どこまで配色やスタイルが統一されている必要があるのか知りたかったため、いくつかのパターンを試した。 男の子 服の色が同じ、男の子の画像3枚を使用する。 女の子 服の色が同じ、女の子の画像3枚を使用する。 男の子と女の子
PythonからC#へポインタ渡しする - TadaoYamaokaの開発日記
C#からPythonへポインタ渡しするとは逆に、Python for .NETを使ってPythonからC#へポインタ渡しする方法について紹介する。 Python for .NET Python for .NETを使用すると、PythonからC#のコードを呼び出すことができる。 Pythonと同じプロセスで、.NETのランタイムを動かすことができ、C#で記述したコードをPythonのモジュールと同じように扱うことができる。 import clr from System import String from System.Collections import * Python for .NETのインストール pipコマンドで、インストールする。 pip install pythonnet C#側のコード作成 .NET Core 3.1を使用して、C#のコードを作成する。 クラスライブラリのプロ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
