Chroma db × langchainでpersistする際の注意点 - Qiita
Documentオブジェクトからchroma dbでデータベースを作成している。最初に作成する際には以下のようにpersistディレクトリを設定している。 db = Chroma.from_documents(documents, embeddings, persist_directory=persist_directory, collection_name="pdfs") しかし、ボットを再起動すると、persist済みのディレクトリを指定してそこからデータベースを作成したにも関わらず、推論時に Index not found, please create an instance before queryingと言われてしまった。 Githubのissueを見てみると、同様のエラーが挙がっていた。 https://github.com/hwchase17/langchain/issues
LLM Powered Autonomous Agents
Date: June 23, 2023 | Estimated Reading Time: 31 min | Author: Lilian Weng Building agents with LLM (large language model) as its core controller is a cool concept. Several proof-of-concepts demos, such as AutoGPT, GPT-Engineer and BabyAGI, serve as inspiring examples. The potentiality of LLM extends beyond generating well-written copies, stories, essays and programs; it can be framed as a powerfu
OCIでRAGチャットボットデモを作ってみた - Qiita
はじめに RAGを使って生成AIチャットボットのデモを作ってみました。 サーバ側のバックエンドはOCI上のVM一本で構築しています。 チャットボットだとやはりUIも揃えたいので、 フロントエンドはこちらのreactベースのUIを参考にしています。 構成概要 OCI上で構築するにあたり、下記の要領で作ってみました。 LLMはopenaiのgpt3.5をpythonで使用 チャットボットで回答させたいデータは事前にPDFとして作成 ベクトルストアはchromaを使用し、VMのブロックボリュームにPDFデータを永続化して保存 langchainを使用してLLM+chromaの連携 上記をfastapi+uvicornでwebapi化 (これをreactのデモアプリからrestで呼んでいます) 分かりやすく絵にすると下記のような構成になります。 OCI構築方法 構築方法です。 まずはpipがない場
GPT-4 Turboにドキュメントのチャンク分けを任せてみる - EXPLAZA Tech Blog
はじめに こんにちは、LLM Advent Calendar 2023 4日目の記事を担当する_mkazutakaです。よろしくお願いします。 LLM Advent CalendarといってもRAGの話になりますが、ご容赦ください。 企業独自のデータを使ってLLMからの出力を制御する際には、検索拡張生成(いわゆるRAG)が使われます。 RAGの実装方法としては、「PDFからドキュメント情報を読み取り検索エンジンに保存」「ユーザの入力する質問文から関連するドキュメントを検索エンジンから取得」「取得したものをコンテキストとしてプロンプトに含める」という流れが一般的だと思います。 この際、RAGの課題の一つでもあるのですが、検索結果から取得するドキュメントのサイズ(いわゆるチャンクサイズ)をどれぐらいのものにするかというものがあります。チャンクサイズが小さすぎるとLLMは関連するコンテキストから
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
