マッキンゼーのレポートに見る企業応用を促進する大規模言語モデルの評価方法｜piqcy

2023 年に大規模言語モデルは多数発表されていますが、どれを選べばよいかは依然として曖昧です。その理由の一つにユースケースと評価方法のミスマッチがあると考えています。例えば、営業メールの草案を生成するモデルを選ぶとき、質問回答データセットの評価結果がどれだけ意味があるかは不透明です。誰かにメールを書いてもらいたいとき、東海道新幹線の速度について知っていることを基準にするか ? という話です。 本記事では、マッキンゼーが公開した The state of AI in 2023 から生成系 AI の企業利用が盛んな領域について示唆を得て、大規模言語モデル評価の方向性を提案します。日本の AI 導入効果は米国の 7 分の 1 程度しかないといわれており、生成系 AI のインパクトは限定的になると見込んでいます。生成系 AI の応用を加速するにはカスタマイズが必要な汎用モデルだけでなく、ユースケ

[T-norf]

マッキンゼーのレポート、人事(HR)分野のインパクト想定が低すぎる気がするな。セールス・マーケティングとソフトウエア開発のインパクトがでかいのは同感だけど

[misshiki]

“マッキンゼーが公開した The state of AI in 2023 から生成系 AI の企業利用が盛んな領域について示唆を得て、大規模言語モデル評価の方向性を提案します。”

[gnt]

測定と評価。まだ揺れてるけど必要。

[shodai]

“AWS 自身としてもモデルの評価についての検証を行っていきたいと考えています。” AWSの中の人なの？