【Starling-LM-7B-alpha】小型なのにGPT-4と張り合うLLMを使ってみたら日本語対応力が凄かった | WEEL

【Starling-LM-7B-alpha】小型なのにGPT-4と張り合うLLMを使ってみたら日本語対応力が凄かった 2024 2/14 Starling-LM-7B-alphaは、Reinforcement Learning from AI Feedback (RLAIF)という手法を用いて構築された最新の大規模言語モデルで、GPT-4ラベル付きランキングデータセットNectarと、新しい報酬モデルで学習及びポリシーチューニングが行われています。 このモデルの特徴は、最新のLLMであるOpenchat 3.5をベースに構築されており、一部のベンチマークスコアがあのGPT-4に迫るほどの性能を獲得している点です。 小型LLMながら、LLM界の巨人であるGPT-4と張り合うのは、映画「マトリックス」シリーズで 、システムに対する理解や戦闘訓練が不足していたネオが、次第に自身の能力を開花させて

[misshiki]

“Starling-LM-7B-alphaは、Reinforcement Learning from AI Feedback (RLAIF)という手法を用いて構築された最新の大規模言語モデルで、GPT-4ラベル付きランキングデータセットNectarと、新しい報酬モデルで学習及びポリシーチューニングが行”

[tattyu]

ゲームに組み込めるぐらいの軽量で高速なのが出てくるといいな。