ChatGPTで独自データを扱うためのエンべディング｜緒方 壽人 (Takram)

【2023/11/7追記】 OpenAI Dev Dayにて、開発者向けの大型アップデートが発表されました。この記事で紹介している手法は、Retrieval-Augmented Generation(RAG)と呼ばれてきましたが、今回のアップデートでコンテクスト長（やりとりできるテキストの長さの上限）がこれまでの8Kから128K（12万8千トークン）に大幅にアップするため、一般的な本の内容は1冊分丸ごと渡すことができるようになります。独自データベースとの連携という意味では、ここで紹介している手法も引き続き有効な手法ですが、API関連でも様々な機能が追加されているので、リリースやSam Altmanによるキーノートは要チェックです。 ChatGPTは、膨大な量のテキストを学習してはいますが、天気予報のような最新の情報や、ある特定の本の内容や、特定のサービスの詳細についてはじめから知っているわ

[kagehiens]

応用の場が広がるのは事実なんだけど、GPTのパワーでドキュメント全体を読解した上で回答してくれるんじゃなくって、ベクトルDBの検索精度にほとんど全て委ねられてるのが悲しい。

[fufufukakaka]

どこかで指摘されてたけど、embeddingの意味が複数あって整理して書かないと混乱してしまいそう

[snaflot]

“独自データをベクトル化するためのエンべディング用モデルもOpenAI から提供されており、直接そのAPIを使うことも可能ですが、使い勝手のよいツールも。その中の一つがLlamaIndexというライブラリ”