大規模言語モデルをPEFTでファインチューニングしようとしたとき、target_modulesを指定する箇所があって、その調べ方です。PEFTのサンプルスクリプトの以下の部分です。 q_projとかv_projってなんだと思ったら、モデルを読み込んで、modulesを見ると出てくるものでした。 OPT-6.7Bだと、modulesの冒頭20行はこんな感じ(全体は長いです)。v_proj, q_projというのが見つかりますね! <bound method Module.modules of OPTForCausalLM( (model): OPTModel( (decoder): OPTDecoder( (embed_tokens): Embedding(50272, 4096, padding_idx=1) (embed_positions): OPTLearnedPositionalE
![LLM(大規模言語モデル)のmodulesを見るにはstr(model.moludes)|松xRのnote](https://cdn-ak-scissors.b.st-hatena.com/image/square/87ba034e120d9dbdbafd4db18565a5fea978d6dd/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F99067088%2Frectangle_large_type_2_55f268ce69f76e2068fdc9ad4d2bd2e1.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)