LLM のベンチマーク まとめ｜npaka

「LLM」の ベンチマーク をまとめました。 1. マルチモーダルのベンチマークマルチモーダルのベンチマーク。 1-1. Heron VLM リーダーボード (wandb) 【日本語】「Japanese-Heron-Bench」 「LLaVA-Bench-In-the-Wild (Japanese)」の総合評価。 ・Japanese-Heron-Bench (Turing) 21枚の画像に対して計102問の質問。日本に関する知識を要求。 ・LLaVA-Bench-In-the-Wild (Japanese) (Turing) 24枚の画像に対して計60問の質問。「LLaVA-Bench-In-the-Wild」の日本訳。

[stealthinu]

LLMの性能を評価する方法。いくつか手法があるがやはりGPT4に評価させるのがベースになりそう。