GPT-4やLlama 2の透明性をスタンフォード大HAIが評価 トップはMetaでOpenAIは3位

米スタンフォード大学Human-Centered AI Institute（HAI）は10月18日（現地時間）、AIの基盤モデルを公開している10社の透明性を評価するスコアリングシステム「Foundation Model Transparency Index」（FMTI）を公開した。 基盤モデルとは一般に、教師なし学習で大量の生データでトレーニングされたAIニューラルネットワークを指す。例えば米OpenAIのGPT-4や、米Googleの「PaLM 2」などで、それぞれChatGPTやBardを介して一般人も利用している。 HAIの基盤モデル研究センター（CRFM）のリシ・ボンマサニ氏は、基盤モデル分野の企業の透明性が低下していると警鐘を鳴らし、FMTIは透明性評価のために設計したと語った。 システムは、基盤モデルの構築方法、機能方法、ユーザーにどのような形で使われるかなど、透明性に関する

[misshiki]

“透明性が最も高いのは米MetaのLlama 2でスコアは54％、2位はBigScienceのBLOOMZで53％。OpenAIのGPT-4は3位（48％）、GoogleのPaLM 2は5位（40％）、米AnthropicのClaude 2は6位（36％）だった。最下位は米AmazonのTitan Textで12％。”

[asuka0801]

謎のAI企業Amazonと言われても仕方ない

[timetrain]

amazonさん・・

[minamishinji]

こういう指標での評価も考慮されることが一般的になってくればいいなぁ。