ベクトル検索エンジンでChatGPTのコンテキストを作る方法｜ふたたか
はじめにChatGPTの問題に、2021年までのデータでしか学習しておらず、最新の情報に答えることができないことがあります。例えば昨日の東京の天気を教えてと、小学生でも分かる質問にすら答えることができません。また、インターネットに公開していない情報、例えば企業の内部情報や個人のプライベートな情報にも無力です。人間もそうですが、人工知能と言えど知らないことは知らないのです。 その問題の解決策の一つにファインチューンがあります。自社データを持ち込み学習モデルの微調整を行う方法です。つい先日、Azure版のgpt-3.5 turboのファインチューンがサポートされました。ただこの方法はお金もかかりますし、Azure環境を利用するなど敷居が高いです。 そこで本ブログでは、ベクトル検索エンジンを併用した、お手軽で低コストにChatGPTを賢くする方法をご紹介したいと思います。 この方法ではプロンプト
LangChainでQdrantをためしてみる
LangChainが対応しているVector Databaseはいろいろあるけど、Qdrantがとても良さそうなので試してみた。 Qdrant (read: quadrant) is a vector similarity search engine and vector database. It provides a production-ready service with a convenient API to store, search, and manage points—vectors with an additional payload Qdrant is tailored to extended filtering support. It makes it useful for all sorts of neural-network or semantic-based ma
Qdrant ベクトル検索エンジン
この記事はオープンソースのベクトル検索エンジンQdrant(クワッドラント)の使い方と類似記事検索についての前編になります。 初心者向けにコンセプトの理解を優先し、難しい用語の使用はあえて避けています。 使用するもの Qdrant オープンソースベクトル検索エンジン (Rust実装) GiNZA spaCy ドキュメントのベクトル化 livedoorニュースコーパス ライブドアのニュース記事 (株式会社ロンウィット) Python 3.10 Qdrantとは？ オープンソースのRust製ベクトル検索エンジンです。クライアントはPython SDK、REST API、gRPCで接続できます。クラウドサービス版も準備中のようです。 Qdrantを使用したデモサイトもあります。 ベクトル検索エンジンとは？ みなさんが思い浮かべる検索エンジンはキーワードを使用して検索するものでしょう。検索ボックス
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://llama-hub-ui.vercel.app/l/qdrant
GitHub - qdrant/qdrant: Qdrant - High-performance, massive-scale Vector Database for the next generation of AI. Also available in the cloud https://cloud.qdrant.io/
Qdrant - Vector Database
