はじめに DifyはRAGなどの様々なLLMアプリをノーコードで実現できますが、RAGで真価を発揮するにはrerankモデルが使いたくなります。しかし、rerankはCohereなど一部のサービスでしか提供されておらず(2024/5時点)、気軽に試す事が困難です。一方、Xinferenceはローカルでrerankモデルを動かす事ができ、DifyはモデルプロバイダーとしてXinferenceが使えます。そこで、DifyとXinferenceを使ってローカルのみでrerankありのRAGを実行してみました。 セットアップ Xinference で紹介した様に、Xinferenceをセットアップします。その後、モデルを起動します。今回は以下のモデルを使用しました。 LLM: llama-3-instruct(8B-Q5_K_M) EMBEDDING: bge-m2 RERANK: bge-rer
