OpenAIのEvalsを利用してLLMの性能をテストする方法｜mah_lab / 西見 公宏

OpenAIのGPT-4 APIのウェイティングリストに申し込むと、メールで以下のような内容が送られてきます。 While we ramp up, invites will be prioritized to developers who have previously build with the OpenAI API. You can also gain priority access if you contribute model evaluations to OpenAI Evals that get merged, as this will help us improve the models for everyone. OpenAI APIで開発したことがある開発者に優先的に招待します。また、OpenAI Evalsにモデル評価を投稿し、それがマージされた場合にも、優先的にアク

[naggg]

“ただ、テストの実行にもAPI利用料が発生するので、データセットは最小限にするか20件ぐらいにサンプリングするなどして実行するのが良さそうです。”

[testedquality]

GPT-4のAPI使いたいのでテストしてみる