CyberAgentの日本語LLMを動かしてみる - Qiita

モデルについて Hugging Face 🤗 上で公開された CyberAgent さんの日本語版 LLM を動かしてみます。CyberAgent さんの Hugging Face 🤗 ページへのリンクを以下に載せておきます。 リンク先へ飛ぶと、以下の画像のように様々なレポジトリが出てきますが、 open-calm-hoge となっているレポジトリが日本語版 LLM のレポジトリになっています。 hoge の部分はモデルの大きさを表しています。（レポジトリとモデルのサイズの対応表） 使用方法 Python の環境を構築しておきます。PyTorch と Transformers が最低限入っていれば動くと思います。 import torch from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoM

[gengohouse]

“CyberAgentの日本語LLMを動かしてみる”