タグ

2024年4月18日のブックマーク (2件)

  • A Survey on Retrieval-Augmented Text Generation for Large Language Models

    Retrieval-Augmented Generation (RAG) merges retrieval methods with deep learning advancements to address the static limitations of large language models (LLMs) by enabling the dynamic integration of up-to-date external information. This methodology, focusing primarily on the text domain, provides a cost-effective solution to the generation of plausible but incorrect responses by LLMs, thereby enha

    echigoya3
    echigoya3 2024/04/18
    大規模言語モデルの検索拡張テキスト生成に関する調査
  • RAG (検索拡張生成) のさまざまな手法 (パターン)

    ここでは、ChatGPT などの大規模言語モデル (LLM) を使った構築で欠かせない RAG (検索拡張生成) で使える、さまざまな応用的手法 (パターン) を紹介します。 1. RAG の流れ (基) まず、以前「プロンプト エンジニアリングの例と解説」でも紹介しましたが、ご存じない方のために、オーソドックスな RAG のアーキテクチャを復習しておきます。 ChatGPT などの言語モデルを使って質問・応答 (Question-Answering) をおこなう際、例えば「明治維新について教えて」など、一般的事実は問題なく回答できますが、ビジネスにおいては、企業内のドキュメントや FAQ など、言語モデルが知らない情報についても応答させたい場合があります。 このような場合、下記例のようにコンテキスト (context) として元となる情報を与えることで、言語モデルが知らない情報も回答さ

    RAG (検索拡張生成) のさまざまな手法 (パターン)
    echigoya3
    echigoya3 2024/04/18