大規模言語モデルをPEFTでファインチューニングしようとしたとき、target_modulesを指定する箇所があって、その調べ方です。PEFTのサンプルスクリプトの以下の部分です。 q_projとかv_projってなんだと思ったら、モデルを読み込んで、modulesを見ると出てくるものでした。 OPT-6.7Bだと、modulesの冒頭20行はこんな感じ（全体は長いです）。v_proj, q_projというのが見つかりますね！ <bound method Module.modules of OPTForCausalLM( (model): OPTModel( (decoder): OPTDecoder( (embed_tokens): Embedding(50272, 4096, padding_idx=1) (embed_positions): OPTLearnedPositionalE

動作環境(256 GB 推奨(X670 などで 48GB x 4 で 192 GB もいけるかもはしれません). 128 GB でも動くけど二倍くらい遅くなる)があれば特に問題なく動くのですが, 一部 huggingface transformers(ややこしい名前であるが, transformer 系 model をぺろっとダウンロードしたり読むためのライブラリ) での(?)weight のダウンロードに不都合あるようです. とりま試す とりま chatbot 試します! x299 256 GB CPU mem 3090 x 2(実際は一個だけ使われる) $ python chatbot.py --model facebook/opt-66b --percent 50 10 100 0 100 0 --compress-weight A chat between a curious hu

「Google Colab」で「trlX」による大規模言語モデルのファインチューニングを試したので、まとめました。 1. trlX「trlX」 (Transformer Reinforcement Learning X)は、「報酬関数」または「報酬ラベル付きデータセット」のいずれかを使用して、強化学習で大規模言語モデル (LLM) をファインチューニングするために分散学習フレームワークです。 「facebook/opt-6.7b」「EleutherAI/gpt-neox-20b」など、最大200億のパラメータの「causal」および「T5」ベースの言語モデルをファインチューニングできます。 現在、次の強化学習アルゴリズムが実装されています。 ・PPO (Proximal Policy Optimization) ・ILQL (Implicit Language Q-Learning) 2.

「Huggingface Transformers」の使い方をまとめました。 ・Python 3.6 ・PyTorch 1.6 ・Huggingface Transformers 3.1.0 1. Huggingface Transformers「Huggingface ransformers」（🤗Transformers）は、「自然言語理解」と「自然言語生成」の最先端の汎用アーキテクチャ（BERT、GPT-2など）と何千もの事前学習済みモデルを提供するライブラリです。 ・Huggingface Transformersのドキュメント 2. Transformer「Transformer」は、2017年にGoogleが発表した深層学習モデルで、2021年現在、自然言語処理に利用する深層学習モデルのデファクトスタンダードになっています。 「Transformer」は、過去に自然言語処理分野