Think of your database like your home. Your home has a living room, bedroom, bathroom, kitchen, and garage. Each room serves a different purpose. But they're all under the same roof, connected by hallways and doors. You don't build a separate restaurant building just because you need to cook. You don't construct a commercial garage across town just to park your car. That's what Postgres is. One ho
When we launched Skald, we wanted it to not only be self-hostable, but also for one to be able to run it without sending any data to third-parties. With LLMs getting better and better, privacy-sensitive organizations shouldn't have to choose between being left behind by not accessing frontier models and doing away with their committment to (or legal requirement for) data privacy. So here's what we
pglite + pgvector で文章の類似度検索を実装します。 動機 とにかく手っ取り早くローカルにデータを突っ込んでおいて検索する RAG の雛形がほしかったんですが、調べても大規模ストレージを前提とした大掛かりな実装が多いです。 スクリプトを書いたらポンと実行できるセットアップ不要なものがあると、色々と実験ができます。 mastra/rag を読んでたら、簡単にできる気がしたのでやりました。ただ、chunk のドキュメント分割相当のものはまだ作ってません。そこまで難しい概念でもないので、雑に作れそうではあります。 qrdrant も検討しましたが、サーバーを建てるのが面倒でした 準備: ベクトル化用の関数 今回は @ai-sdk/openai を使ってベクトル化をします // OPENAI_API_KEY= import { openai } from "@ai-sdk/open
はじめに OpenAIに始まり、AWSでも2023/9/29にAmazon BedrockがGAしたりと、2023年はLLM関連のニュースが非常に多くなっている。その中でも、Vector DBと組み合わせてRAGを用いることでハルシネーションの回避をすることができるようになるため、非常に重要な技術になってきている。 AWSでも、2023/7/13よりAurora(PostgreSQL互換)がpgvectorをサポートして、よりVector DBが身近なものになった。 今回は、このpgvector拡張のインストールと使い方を確認していく。 Amazon Aurora(PostgreSQL互換)を準備する まずは、Amazon Auroraクラスタを起動しよう。 Amazon Auroraクラスタの起動は過去の記事を参考にしていただきたい。 なお、pgvectorのサポートしているPostgr
近年は機械学習のモデル・アルゴリズムを使ってオブジェクトをベクトル表現し(embedding)、テキストやメディアなど様々なオブジェクトの検索や分類が盛んに行われており、LLMの流行と共にその勢いが増しています。 RDBのPostgreSQL向けにベクトル管理・検索を行う拡張モジュール pgvector がAmazon RDS for RDSでも利用できるようになり、Pineconeのようなベクトル検索特化型のデータベースを用意することなく、RDSインスタンス単体でベクトル検索ができるようになりました。 データベースのマネージドサービスとしては、これまでも Supabase 等が pgvector に対応していましたが、RDS PostgreSQL もついに対応しました。 制限 pgvector 対応する最近傍探索 exact Approximation 対応距離 ユークリッド(L2)距離
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く