LLM技術と外部データ活用による検索・回答精度向上手法(ファインチューニング、セマンティック検索、In-Context Learning、RAG)と著作権侵害 第1 はじめに FAQシステムやチャットボットなど「何か知りたいこと(検索文・質問文)」を入力して検索や回答生成を行うに際して、検索や回答精度を向上させたり、回答根拠を明示させるために、LLM技術と外部データを組み合わせたシステムの研究開発や実装が急速に進んでいます。 LLMが外部データを参照できるようにするには、LLMそのものをFine-tuningする方法、プロンプトで情報を与える方法、RAGによって外部データを保存したデータベース (Data Base; 以下DB) から呼び出す方法の3つがあります。 ここでいう「外部データ」とは、「LLMの外部にあるデータ」という意味でして、その中には社内文書や、書籍・ウェブページ上のデータ