GitHub Models を使って 20 種類以上の LLM の日本語性能を測定してみた - NTT docomo Business Engineers' Blog

本記事では、今年8月にパブリックベータ版として GitHub に搭載された新機能 GitHub Models について、概要や利用法を簡単にご説明します。さらに、実際に GitHub Models を活用して、多数の LLM の日本語性能を横断的に測定していく例を紹介していきます。 目次 目次 はじめに 三行で GitHub Models を説明すると... GitHub Models の使い方 Waitlist への登録 モデル一覧 ブラウザ上で試す API経由で試す GitHub Models を利用する上での注意点 API レート制限の制約が強い Azure AI Content Safety が全ての LLM に適用されている GitHub Models を使って LLM の日本語性能を横断的に測定する 実験 1. GPT-4o による自動評価 2. 出力が日本語になっているかどう

[misshiki]

“GitHub ModelsはGitHub上でLLMを無料で試せるプラットフォーム。ブラウザ上、API経由の双方で、さまざまなLLMを動かすことができる。API レート制限の制約が強いが、無料で試せるのでプロトタイピングや研究の用途に最適。”