Huggingface Transformers 入門 (2) - モデル｜npaka1. モデルのカテゴリ「Huggingface Transformers」のモデルは、下のカテゴリに分類されます。 ・自己回帰モデル (Autoregressive models) ・オートエンコーディングモデル (Autoencoding models) ・Sequence-to-sequenceモデル (Sequence-to-sequence models) ・マルチモーダルモデル (Multimodal models) ・検索ベースモデル (Retrieval-based models)2. 自己回帰モデル 「自己回帰モデル」は、古典的な「言語モデル」で事前学習します。一連のトークンに続くトークンを予測します。このモデルはオリジナルのTransformerモデルのデコーダに相当します。文全体にマスクが使用されているので、アテンションヘッドは、次の文の前を見ることができ、次の文の後は
