GitHub - openai/evals: Evals is a framework for evaluating LLMs and LLM systems, and an open-source registry of benchmarks.

You can now configure and run Evals directly in the OpenAI Dashboard. Get started → Evals provide a framework for evaluating large language models (LLMs) or systems built using LLMs. We offer an existing registry of evals to test different dimensions of OpenAI models and the ability to write your own custom evals for use cases you care about. You can also use your data to build private evals which

[shunkeen]

"期間限定で、高品質の評価に貢献する人にGPT-4アクセスを許可します。上記の指示に従い、スパムや低品質の投稿は無視されることに注意してください"／みんな頑張れー！AI研究者を抱えてる日本企業にも期待！！

[otiai10]

“for evaluating OpenAI models”

[yaotti]

“OpenAI Evalsは、大規模な言語モデル（LLM）およびLLMを使用して構築されたシステムを評価するためのフレームワークです。”

[misshiki]

“Evals は、OpenAI モデルを評価するためのフレームワークであり、ベンチマークのオープンソース レジストリです。”