LLMのキモい算術 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
LLMは「226-68=」のようなプロンプトを与えると「158」と計算してくれますが、この計算は我々が想像するよりも奇妙な方法で行っていることを紹介します [Nikankin+ ICLR 2025]。 まずは前提条件を確認します。思考の連鎖は使わず、「226-68=」のようなプロンプトに対して「158」のように答えを直接出力する場合を考えます。 一例として Llama3-8B を考えます。Llama3 のトークナイザは 0 から 1000 までの数に 1 つのトークンを割り当てるので、「226-68=」を入力すると、次のトークン「158」が「0」「1」...「157」「158」「159」...「1000」などのトークンの中から、最も確率が高いものとして選ばれます。 ヤニフ・ニカンキンらの発見 [Nikankin+ ICLR 2025] は、Llama3-8B は答えや入力についての粗い条件
さくらのクラウド高火力プランを使って大規模言語モデル(LLM)を動かしてみよう 〜後編〜 | さくらのナレッジ
前編のあらまし さくらインターネットの芦野です。 前編の記事では、さくらのクラウド高火力プランの概要や事例、それから大規模言語モデル(LLM)の概要や主な実装をご紹介しました。それに続く本記事では、さくらのクラウドでLLMを動かす方法の解説や、LLMを使って実装したチャットボットのデモなどをご紹介します。 さくらのクラウドで大規模言語モデルを動かすための手順 それでは、さくらのクラウドで大規模言語モデルを動かすための手順の説明に入っていきたいと思います。今回は先ほどもご紹介しました、サイバーエージェント社が公開しているOpenCALMを動かしてみます。OpenCALMは、私が知る限りでは数少ない日本語大規模言語モデルの一つで、公開されている中では唯一なのかなと思ってたりしております。Hugging Faceという、機械学習のモデルを公開・共有できるプラットフォームにて公開されております。
text-generation-webui の 設定項目まとめ｜npaka
1. Text generation タブ「Text generation タブ」は、テキスト生成を行うタブです。 以下の3つのモードがあり、「Inference mode タブ」で切り替えます。 ・chatモード : チャットアプリ風のモード ・notebookモード : Playground風のモード ・defaultモード : 入出力が別れているモード 1-1. chatモード・Input : メッセージ入力 ・Stop : テキスト生成の停止 ・Generate : テキスト生成 ・Continue : テキスト生成の続きの生成 ・Impersonate : なりすまし ・Regenerate : テキスト再生成 ・Remove last : 最後の会話ペアの削除 ・Copy last reply : 最後の返信のコピー (最後の返信→Input) ・Replace last re
text-generation-webui で RinnaのLoRAファインチューニングを試す｜npaka
「text-generation-webui」で「Rinna」のLoRAファインチューニングを試したので、まとめました。 前回 LoRAファインチューニングを試すLoRAファインチューニングの手順は、次のとおりです。 (1) 前々回と同じ手順で、Rinnaと会話できるように設定。 今回は、Rinnaのベースモデル (rinna/japanese-gpt-neox-3.6b) を使いました。 (2) 「Modelタブ」で「load-in-8bit」をチェックして、Rinnaモデルを再読み込み。 (3) 「あかねと〜くデータセット」(dataset_plain.txt) をダウンロードして「training/datasets」フォルダに配置。 今回は、EOSのないプレーンの方を使いました。 (4) 「Training タブ」で「Name」にLoRAモデル名を指定し、「Override Exis
ChatGPTクローンを試す（text-generation-webui編）
text-generation-webui Python製 主にオープンな言語モデル向け stable-diffusion-web-uiと同じ立ち位置を目指しているらしい 普通にChatGPTっぽくつかうというよりは、オープンソースの言語モデルを色々試したり、細かいパラメータ設定したり、トレーニングさせたり、少し専門家向けに柔らかいUI用意した、みたいな感じに近いと思う。 なので、今回の目的とはちょっと立ち位置が違うとは思いつつも、今まで触ってこなかったのもあって、すこし触ってみる。 インストール Windows/Linux/macOS/WSL向けにワンクリックでローカルで実行できるインストーラが用意されているのだけど、中を見てるとcondaとか使ってるみたい。個人的にはcondaをグローバルにインストールすることに躊躇するところがあって、他の方法はないかなーとおもってたらDockerでで
オープンなLLMをローカルPCのDocker環境で動かす
次々と発表されるオープンな日本語大規模モデル どうなっているの？？という感じですよね。 我らがnpakaさんは、さっそくGoogle Colabで動かしていらっしゃいます。 ただ、Google Colabだと毎回モデルのダウンロードが大変なので、ローカルでDocker使って手軽に動かせるといいな、ということでやってみました。 以下GitHubのリポジトリにDockerfileとサンプルプログラムをおいています。チャットっぽいことをできるようにしています。 上記で、サイバーエージェントとリンナのLLMが両方動きます。 使用環境 前提となる環境です。使用しているPCのスペックは以下です。 項目 内容
DockerでのディープラーニングGPU学習環境構築方法 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? DockerでGPU学習環境構築 背景 ディープラーニングでローカルPCのGPUを使った学習環境を構築した経験のある人は、一度はNVIDIAのドライバやCUDA周りでハマった経験があるのではないでしょうか？そんなバッドノウハウ（怪文章？）をまとめたQiita記事（TensorFlowでGPU学習させるためにCUDA周りではまったときの対処法）に、なんとNVIDIAの中の人(@ksasaki さん）から「Dockerを使えば…人類は幸せになれる（超意訳）」とのコメントをいただきました！ 喜び勇んで、NVIDIAのドライバをアップデートした
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hugging Face – The AI community building the future.
How To Install TextGen WebUI on AWS
text-generation-webuiをDockerで動かす
「Text generation web UI」のインストール方法と使い方！大規模言語モデルを自分のPCで手軽に動かそう
“PCで自宅ChatGPT”がかなり手軽に！ GUIで簡単導入でき日本語もOKの「Text generation web UI」【イニシャルB】