Microsoft、軽量小型な言語モデル「Phi-2」をリリース

Phi-2は、優れた推論能力と言語理解能力を備えた27億パラメータの言語モデルで、130億未満のパラメータを持つ基本言語モデルの中では、最先端のパフォーマンスを備えている。さまざまなベンチマークでは、モデルのスケーリングとトレーニングデータのキュレーションにおける新たなイノベーションによって、最大25倍のモデルと同等、あるいはそれを上回るパフォーマンスを実現する。 同チームがPhi-2の開発にあたって使用したトレーニングデータには、モデルに科学、日常活動、心の理論といった常識推論と一般知識を教えるために、特別に作成された合成データセットが含まれる。教育的価値とコンテンツの品質を基準にフィルタリングされている、厳選されたWebデータを使用してトレーニングコーパスをさらに強化している。また、13億パラメータモデルであるPhi-1.5の知識を27億パラメータのPhi-2に埋め込むことで、トレーニ