ブックマーク / zenn.dev/sompojapan_dx (2)

  • RAGにおけるドキュメント検索精度向上について(実践編)

    損害保険ジャパン株式会社 DX推進部の眞方です。この記事では、RAG(Retrieval Augmented Generative)の構築時に、ドキュメント検索精度の向上を目指して検索モデルの改善を行った際の手法、および結果について解説させていただきます。 概要を知りたい、という方は以前書いた前回の記事を読んでください。 はじめに 今回はRAGにおける検索モデルの改善を目的として、独自のデータを使用してfine-tuneを行いました。 RAGにおける検索(赤枠)の部分を改善する取り組みを行いました。 検索モデル 学習のためのライブラリとしては、sentence transformersを使用しました。また、モデルは日語BERTを使用しています。 データ 今回RAGの対象となるドキュメントは、大きく次の2つが存在しています。 規定集 保険商品の説明等が書かれているドキュメントです(詳細は前

    RAGにおけるドキュメント検索精度向上について(実践編)
    toshikish
    toshikish 2023/12/22
  • RAGにおけるドキュメント検索精度向上について(概要編)

    はじめまして。損害保険ジャパン株式会社 DX推進部の眞方です。普段はリードエンジニアとして、新しいサービスのアーキテクチャ検討からローンチまでの作業や、新規技術を用いたアプリのプロトタイプ実装などを行なっています。 弊社では、LLM(Large Language Models)を活用したアプリケーションの開発を積極的に検討し、既に社内でいくつかのプロトタイプをローンチしています。 記事では、その最も一般的?なユースケースの一つとも言えるRAG(Retrieval Augmented Generative)の構築において、ドキュメント検索精度の向上にどのように取り組んだ内容の概要を紹介させていただきます。実際の詳細な手法および結果については、別記事(実践編)で解説予定です。 はじめに RAGとは? この記事を読まれている方の中にはご存知の方も多いでしょうが、RAGとはRetrieval A

    RAGにおけるドキュメント検索精度向上について(概要編)
    toshikish
    toshikish 2023/11/11
  • 1