タグ

2024年8月20日のブックマーク (3件)

  • RAGを専門用語に強くする手法「Golden-Retriever」

    株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。記事では、RAGの性能を高めるための「Golden-Retriever」という手法について、ざっくり理解します。 この記事は何 この記事は、RAGシステムを専門用語に強くするための手法「Golden-Retriever」の論文[1]について、日語で簡単にまとめたものです。 今回も「そもそもRAGとは?」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 題 ざっくりサマリー Golden-Retrieverは、RAG(Retrieval Augmented Generation)を、業界特有の用語・社内用語を含むような質問に強くするための手法です。カリフォルニア大学の研究者らによって2024年8月に提案されました。 従来のRAGシステム

    RAGを専門用語に強くする手法「Golden-Retriever」
    tworks
    tworks 2024/08/20
  • LLMのRAGアプリケーションにおけるオブザーバビリティを向上するツール「Phoenix」の紹介 - Assured Tech Blog

    LLMのRAGアプリケーションにおけるオブザーバビリティを向上するツール「Phoenix」の紹介 始めに こんにちは、エンジニアの大橋です。 LLMを用いたRAG(Retrieval-Augmented Generation)アプリケーションの開発において、精度向上のための評価方法に悩まれている方も多いのではないでしょうか。 今回、AssuredではRAGアプリケーションの評価にPhoenixというツールを導入してみました。Phoenixを利用することで、LLMに何を入力しどんな出力を得られたのかを可視化し、品質を改善させるサイクルを素早く行えるようになり、RAGアプリケーションの精度向上に非常に有用だったので、その活用方法をご紹介したいと思います。 実はPhoenixを使い始める前に、DeepEvalというLLM評価ライブラリのみを利用して、LLMの生成結果の評価を行おうとした時期があり

    LLMのRAGアプリケーションにおけるオブザーバビリティを向上するツール「Phoenix」の紹介 - Assured Tech Blog
  • RAGの回答を自動評価する手法(LINEヤフーのSeekAIでの事例)

    こんにちは。生成AI関連の開発をしている図左です。社内でRAGを使った生成AIサービスを開発していますが、ロジック変更のたびに毎回人手でテストするのは現実的ではありません。今回は、この品質評価を自動化したフローや手法を紹介します。 SeekAIとは LINEヤフー株式会社では、社内の情報を効率的に検索するために、生成AIを活用したサービス SeekAI を内製展開しています。SeekAIではRAGという技術を使って一般的な知識だけでなく、社内規程・ルール・問い合わせ先、コーディング時の技術スタック、顧客や取引先とのコミュニケーション履歴などを効率的に把握できるため、社内の情報検索ツールとして活用されています。 SeekAIのプレスリリース RAGとは 生成AIに『学習済みではない知識』に関する回答を出力させるために、別途構築したデータベースから取得した情報と組み合わせて回答させる手法です。

    RAGの回答を自動評価する手法(LINEヤフーのSeekAIでの事例)