ChatGPTクローンを試す（text-generation-webui編）
text-generation-webui Python製 主にオープンな言語モデル向け stable-diffusion-web-uiと同じ立ち位置を目指しているらしい 普通にChatGPTっぽくつかうというよりは、オープンソースの言語モデルを色々試したり、細かいパラメータ設定したり、トレーニングさせたり、少し専門家向けに柔らかいUI用意した、みたいな感じに近いと思う。 なので、今回の目的とはちょっと立ち位置が違うとは思いつつも、今まで触ってこなかったのもあって、すこし触ってみる。 インストール Windows/Linux/macOS/WSL向けにワンクリックでローカルで実行できるインストーラが用意されているのだけど、中を見てるとcondaとか使ってるみたい。個人的にはcondaをグローバルにインストールすることに躊躇するところがあって、他の方法はないかなーとおもってたらDockerでで
オープンなLLMをDockerで動かす
次々と発表されるオープンな日本語大規模モデル どうなっているの？？という感じですよね。 我らがnpakaさんは、さっそくGoogle Colabで動かしていらっしゃいます。 ただ、Google Colabだと毎回モデルのダウンロードが大変なので、ローカルでDocker使って手軽に動かせるといいな、ということでやってみました。 以下GitHubのリポジトリにDockerfileとサンプルプログラムをおいています。チャットっぽいことをできるようにしています。 上記で、サイバーエージェントとリンナのLLMが両方動きます。 使用環境 前提となる環境です。使用しているPCのスペックは以下です。 項目 内容
DockerでのディープラーニングGPU学習環境構築方法 - Qiita
DockerでGPU学習環境構築 背景 ディープラーニングでローカルPCのGPUを使った学習環境を構築した経験のある人は、一度はNVIDIAのドライバやCUDA周りでハマった経験があるのではないでしょうか？そんなバッドノウハウ（怪文章？）をまとめたQiita記事（TensorFlowでGPU学習させるためにCUDA周りではまったときの対処法）に、なんとNVIDIAの中の人(@ksasaki さん）から「Dockerを使えば…人類は幸せになれる（超意訳）」とのコメントをいただきました！ 喜び勇んで、NVIDIAのドライバをアップデートしたところ、そこには文鎮と化した起動しないLinuxマシンが…からあげのNVIDIAとの戦いは始まったばかりだ！（戦ってません） DockerでGPU学習環境構築するメリット うまく構築できればという前提で、以下のようなメリットがあります。 様々なフレームワーク
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How To Install TextGen WebUI on AWS
text-generation-webuiをDockerで動かす
