はじめに Difyで作成したRAGを評価する方法が、今のところ見つけられなかったのでここに残しておきます。 評価するための連携方法を書くだけで、評価自体のことはほとんど書いていません。 Ragasについて Ragasに関しては別ブログで記載しているのでそちらをご覧いただければと思います。 ここでも少し記載しておこうと思います。 Ragasで使用できる指標はいくつかあります。 Faithfulness Answer relevancy Context recall Context precision Context relevancy Answer semantic similarity Answer correctness etc … Ragasではこの中でもRAGを評価する時に重要だとされる4つの指標を使います。 RAGはRetrievalとGenerationの二つのプロセスに分かれま