Qwen2-VLとColPaliでマニュアル用ローカルQAボットを作ってみた

はじめに 株式会社ファースト・オートメーションCTOの田中(しろくま)です！ 弊社では製造業向けのRAGを使ったチャットボットの開発を行っていますが、RAGが普及してきた昨今においてまだまだ課題があるなと感じているのが、 マニュアルのような画像と文書の複合したドキュメントの読み取り です。 例えばPC操作の説明書などは良い例かなと思うのですが、画面スクショに矢印が入っていたり、それに対して説明が入っている文書は通常のRAGとの相性が悪いです。 以下は経産省が提供しているgBizINFOというサービスの操作説明資料を抜粋したものです。 元のPDF資料はこちら このように、図と文書が混在し、かつ矢印などでそれらが関連付けられているような形になります。 また 製造業ではセキュリティ的な懸念からこういった資料のアップロードやチャットの内容をクラウドに上げたくない企業も多いです。 こういったことから

[sh19910711]

2024 / "Qwen2-VL: 日本語のOCRにも強い / ColPali: 画像ベースのRAGという珍しい手法 / iはPDFの各ページを埋め込みベクトル化し、検索時は関連性の高いものをページ毎に抽出"