こんにちは!電通総研AITC のAIソリューショングループ太田です。 このコラムでは、Azure AI Searchを用いたマルチモダール検索とマルチモダールRAGについて紹介します。 マルチモダール検索はGPT-4V登場以前から存在する技術です。 昨年のGPT-4Vの登場により、マルチモーダル検索結果に基づくRAGが実現できるようになり、今マルチモーダルRAGがホットになっています。 マルチモーダルRAGは、通常のRAGと同じく、参考となる情報をLLMに読み込ませることで、LLMが本来持っていない知識を利用して文章生成する技術です。 通常のRAGと違い、マルチモーダルLLMを利用することで、文章だけでなく画像や音声も参照情報として扱うことが可能になります。 マルチモーダルRAGの必要性 従来のLLMを用いたRAGだと、どうしても図やグラフをLLMにテキストとして与える必要があり困難でした