GPT-4VをつかったMulti-modal RAGの実装 (1) - Qiitaはじめに 生成AI系アプリの開発では、LLMが専門的な質問にも回答できるようにするために、RAG（Retrieval Augmented generation）が広く使われています。このRAGのインプットには多様なファイル形式（たとえば、PDF, CSV, TXTなど）がサポートされていますが、最終的にはテキストの形でチャンクに分割し、各々のチャンクをベクトル化してベクトルストアに保存するというのが一般的なやり方となっています。 しかし、実際の文書にはテキストだけでなく、画像やテーブルもたくさんある場合が多く、本来ならこれらの情報もベクトルストアに保存するべきで、RAGの精度を高めていく際に本質的に重要です。 DALL-E 3で作成したMulti-modal RAGのイメージ画 今回の記事では、異なるデータタイプ（画像、テキスト、テーブル）を横断して、ベクトルストアを構成することが可能なM
