ChatGPT: Embeddingで独自データに基づくQ&Aを実装する (Langchain不使用) - Qiita

こんにちは、ChatGPTに自社のデータや、専門的な内容のテキストに基づいて回答を作成して欲しいという需要はかなりあるのではないかと思います。 そうした用途のために、LangchainやLlama-indexを使用した解説が多く公開されていますが、OpenAIのcookbookにはライブラリを使わずにEmbeddingsを使用したサーチとクエリを実装する方法が解説されています。個人的な経験として、ライブラリベースで実装をすると、日本語のテキスト分割が微妙だったり、LLMの回答が英語になってしまったりと、余計に事態が複雑化して、なんだかなぁ〜という結果になりがちです。 この記事では、主に以下のドキュメントを参考にして、ベクトルデータベースにデータを保存するなど変更を加えています。間違いや、もっとこうした方がいいよ、などコメントありましたら、ぜひお願い致します。 作ってみるもの Wikiped