オープンなLLMをDockerで動かす
次々と発表されるオープンな日本語大規模モデル どうなっているの？？という感じですよね。 我らがnpakaさんは、さっそくGoogle Colabで動かしていらっしゃいます。 ただ、Google Colabだと毎回モデルのダウンロードが大変なので、ローカルでDocker使って手軽に動かせるといいな、ということでやってみました。 以下GitHubのリポジトリにDockerfileとサンプルプログラムをおいています。チャットっぽいことをできるようにしています。 上記で、サイバーエージェントとリンナのLLMが両方動きます。 使用環境 前提となる環境です。使用しているPCのスペックは以下です。 項目 内容
DockerでStable Diffusion（WebGUI）を動かす方法
OSは以下です。同じPCでブートを切り替えています。 Windows11 + WSL2(CPU) Linux(GPU) Windowsの方は、GPUだとエラーが出て動きませんでした。理由は深く調査していません。npakaさんの記事を参考にしたほうが良いかもしれません。 OS/Dockerセットアップ OSやWSL2、Dockerのセットアップに関しては以下記事参考にしてください。 Dockerのセットアップに関しては、複数のDockerコンテナを扱うためにDocker Composeもインストールする必要があります。また、GPUを使う場合は、NVIDIA Dockerのセットアップが必要になります。 詳しくは以下記事参照ください。 CPUで最短でセットアップしたいなら、ターミナルで以下コマンドをうてばDockerのセットアップできると思います。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
