AWSの最軽量LLM「Amazon Nova Micro」がJevの代わりとなるか検証してみた - Qiita

はじめに 判断や評価を確率として返すAIモデル「Jev」が注目を集めています。Jevは、用途を絞ることで、高速なレスポンスを実現している点も特徴です。 一方、エンタープライズ用途で外部サービスを利用する場合、データ送信に伴う社内審査やセキュリティルールの確認が必要になります。新たに登場したサービスを本番システムに採用するには時間がかかるでしょう。そこで、短期的にもAmazon Bedrockの軽量LLMでJevを代替できないかと考えました。 白羽の矢が立ったのは、AWSの最軽量・最安モデル「Amazon Nova Micro」です。 今回、Amazon Nova MicroがJevの代わりになり得るのかを検証しました。果たして代替できるのでしょうか。検証結果をご覧ください。 Jevとは 以下の記事で解説しましたので、こちらをご覧ください。 Amazon Nova Microとは Amazo

[michael-unltd]

Jevと軽量モデルとの比較記事

[ookitasaburou]

“人間社会における回答の正解を評価する場合は、人手で定義した正解ラベルを用意した上で、両モデルを同じ正解データに対して評価する方法が適切です。”

[misshiki]

Nova MicroとJevを100件で比較。出力成功91%対100%、p50応答575ms対203ms。コストもJevが低く、感情判定の一致率は29.7%。単純な代替は困難との結論。