【SLM:小規模言語モデルとは】生成AIの今後のトレンドは小型化？ - Qiita

SLM:小規模言語モデルとは？ 生成AIと言えばLLM (Large Language Model, 大規模言語モデル)ですが、近年提唱されるようになった概念としてSLM (Small Language Model, 小規模言語モデル)があります。 SLMはその名前の通り、LLMよりも比較的小さなパラメータ数のモデルに対する総称です。 厳密な定義はありませんが、以下のような特徴のある言語モデルをSLMと呼んでいることが多いようです。 知識の深さと幅：LLMほどの専門的知識はありませんが、一般常識や日常会話ができる程度の知識があります。専門性の高い文章を扱う場合は、RAG等やファインチューニングを使って追加の情報を与えるような運用が想定されています。 学習の容易性：モデルが小さいためファインチューニングをしやすいことが特徴として挙げられます。LLMのような汎用性は必要無いものの、特定の知識が

[flatnote]

“Flutterアプリケーション”

[sh19910711]

2024 / "モデルが小さいためファインチューニングをしやすい / LLMのような汎用性は必要無いものの特定の知識が必要なドメインでの活躍 / 小型のLLM(≒ SLM)を結合し一つの群体として扱う"