Googleが大規模言語モデル「Gemma 2」をベースとしたパラメーターサイズがコンパクトな「Gemma 2 2B」、AIモデルの入出力をフィルタリングする「ShieldGemma」、モデル解釈ツール「Gemma Scope」を発表
Googleは2024年6月に大規模言語モデル(LLM)の「Gemma 2」を発表しました。当初発表されたGemma 2のパラメーターサイズは90億(9B)と270億(27B)の2つだったのですが、これらよりもコンパクトなパラメーターサイズでありながら優れたパフォーマンスを発揮できる「Gemma 2 2B」や、Gemma 2をベースとしたAIモデルの入出力をフィルタリングしてユーザーの安全を守ることができるという「ShieldGemma」、モデルの内部動作に関する比類ない洞察を提供することができるモデル解釈ツールの「Gemma Scope」を発表しています。 Smaller, Safer, More Transparent: Advancing Responsible AI with Gemma - Google Developers Blog https://developers.goo
はじめに 今回はGoogle社の「Gemma 2 2B」に対してQLoRAでのファインチューニングを試しました。 試した経緯としては以下になります。 Gemma 2 2Bを使ってみたら驚くほど性能が高かった（同クラスのパラメータを持つモデルと比較した場合） ↓ パラメータが小さいので自宅のPCでもファインチューニング（QLoRA）できそう ↓ すでに公開されている「ずんだもん」や「つくよみちゃん」に変えるためのデータセットで学習して会話してみよう となりました。 今回、QLoRAで作成したアダプターをマージするところまで一通り行えたため、マージしたモデルで会話するところまでを手順として記載しています。 ファインチューニング（Instructionトレーニング）について 今回行うのはInstructionトレーニングです。 Instructionトレーニングとは特定の指示（Instructi
量子コンピューターの最新成果が集結する世界的な国際会議「Q2B」。2024年7月24～25日に東京都内で開催された「Q2B 2024 Tokyo」では、急速に進化している量子誤り（エラー）訂正をはじめ新技術の発表が相次いだ。その中から、量子コンピューターの普及を促す5つの注目技術をまとめた。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Gemma2 2Bをファインチューニング（QLoRA）でキャラクター化（ずんだもん、つくよみちゃん）
量子エラー訂正を進化させる手法が続々、Q2B東京の注目技術5選