Orca : GPT-4の推論過程を模倣し、ChatGPTに匹敵する性能を有する13BのOSS言語モデル｜AstroPomeAI

Orca : GPT-4の推論過程を模倣し、ChatGPTに匹敵する性能を有する13BのOSS言語モデル Orca: Progressive Learning from Complex Explanation Traces of GPT-4というMicrosoft Researchが発表した論文の一部を紹介します。 従来のinstruction-tuned model (Vicuna-13Bなど)とは異なり、GPT-4のような大規模言語モデルのステップバイステップの推論過程を学習させることで、軽量なモデルながらChatGPT (3.5)に匹敵する精度を実現したモデルとのことです。 要約( by ChatGPT)Microsoft Researchが開発した13億パラメータのモデルOrcaは、GPT-4からの豊富な信号、説明のトレース、ステップバイステップの思考過程を利用して、大規模基盤モデ

[kazuph1986]

「Orca-13B」新キャラ出てた。