OSSベクトルDBのChromaを使ってQ&AボットをLangChainで作成する｜mah_lab / 西見 公宏

新興で勢いのあるベクトルDBにChromaというOSSがあり、オンメモリのベクトルDBとして気軽に試せます。 LangChainやLlamaIndexとのインテグレーションがウリのOSSですが、今回は単純にベクトルDBとして使う感じで試してみました。 データをChromaに登録する今回はLangChainのドキュメントをChromaに登録し、LangChainのQ&Aができるようなボットを作成しようと思います。 しかしLangChainのドキュメントはほとんどがJupyter Notebook形式なので、ベクトルDBへ取り込みやすいようにフラットテキストにしてあげる必要があります。 以下の関数はJupyter Notebook形式（JSON）のファイルを分解してMarkdown形式に変換し、その後Unstructured.ioのMarkdownスプリッタを利用してコンテンツをチャンクに分割

[michael-unltd]

“collection.queryのn_resultsがキーとなるパラメータです。ベクトルDBから何個候補の結果を引っ張ってくるかのパラメータとなっています。今回Unstructured.ioによってかなり細かくテキストのチャンクが登録されているため、そこ

[deejayroka]

“LangChainのドキュメントをChromaに登録し、LangChainのQ&Aができるようなボットを作成”

[sh19910711]

お、DuckDBが使われてるっぽい / "Chroma: 新興で勢いのあるベクトルDB + LangChainやLlamaIndexとのインテグレーションがウリ / コンテキストを与えれば与えるほど正確 + トークン数は増えるので応答時間は長くなります"

[shunkeen]

“persistを呼び忘れると、せっかくお金をかけてembeddingしたデータが消えてしまうのでご注意”／公知の情報をembeddingしたデータを公開したり、交換したりするプラットフォームを誰か作ったりしないんかな。

[yarumato]

“オンメモリのベクトルDBとして気軽に試せます。”