Announcing Pg_duckdb Version 1.0 - MotherDuck Blog
We're excited to share the 1.0 release of pg_duckdb, an open-source PostgreSQL extension that brings DuckDB's vectorized analytical engine directly inside PostgreSQL. You can think of it as adding a turbo engine to your PostgreSQL database–ready to run efficient, ad hoc queries while PostgreSQL continues doing what it does best: transactional workloads for your production app. Pg_duckdb embeds a D
新興 PostgreSQL サービス企業の買収劇の背景：Snowflake と Databricks が描く未来に思いを馳せてみた
新興 PostgreSQL サービス企業の買収劇の背景：Snowflake と Databricks が描く未来に思いを馳せてみた 日本の PostgreSQL コミュニティが今月、大きな盛り上がりを見せています。その理由は、データ・AI 業界の二大巨頭である Snowflake と Databricks が、立て続けに PostgreSQL のマネージドサービスプロバイダの新興企業を買収し、両社が PostgreSQL のマネージドサービス提供を開始すると発表したためです。この動きは、 PostgreSQL がこれまで以上に最も重要なデータベースの一つとしての地位を確立し、PostgreSQL ユーザーのスキルが活かせる場が大きく広がっていることを示唆しています。 なぜ、この買収劇が立て続けに起きたのでしょうか。考えられる主な理由は以下の 3 点です。 1. アナリティクスプラットフォー
pg_duckdb - PostgreSQL プロセス上の DuckDB で OLAP ワークロードを処理する
本記事の概要 pg_duckdb は、PostgreSQL のプロセス上でインプロセス OLAP クエリエンジンである DuckDB を実行するための拡張です。 DuckDB を利用することで、以下のようなメリットがあります。 PostgreSQL のネイティブクエリエンジンと比べ、OLAP ワークロードをより高速に処理できる。 DuckDB の拡張を利用し、 Iceberg や Delta lake といったオープンテーブルフォーマットでオブジェクトストレージ上に構築したデータレイクのデータを分析できる。 本記事では、 PostgreSQL 拡張の pg_duckdb の概要、私が pg_duckgb に注目した背景、および簡単な使い方などを紹介します。 pg_duckdb の概要 pg_duckdb は、スタートアップの Hydra、DuckDB 開発元の DuckDB Labs、Sa
Apache AGE, Graph database optimized for fast analysis and real-time data processing. It is provided as an extension to PostgreSQL.
Apache AGE™ Graph Database for PostgreSQL Apache AGE™ is a PostgreSQL Graph database compatible with PostgreSQL's distributed assets and leverages graph data structures to analyze and use relationships and patterns in data. Get Started with Apache AGE Download Apache AGE Apache AGE™ is a PostgreSQL that provides graph database functionality. The goal of Apache AGE™ is to provide graph data process
Databricks + Neon
本日、私たちは 開発者ファーストのサーバーレス Postgres 企業「Neon」 を買収することで合意したことを発表でき、大変うれしく思います。Neon の共同創業者たちは、ストレージとコンピュートを真に分離した Postgres を再設計できる、世界でも稀有な存在です。彼らは第一級の Postgres ハッカーとデータベースのベテランで構成されたチームであり、Databricks に加わることで、AI ネイティブ時代の開発者に向けて 本番規模のサーバーレス Postgres を提供していきます。 開発者ファーストのミッション ─ Postgres の専門家がはじめた挑戦 4 年前、Neon の共同創業者は「データベースの常識を覆す」というビジョンを掲げて集まりました。90 年代に設計された従来型データベースの限界を超え、開発者体験を劇的に向上させるプラットフォームを目指したのです。彼ら
RubyKaigiスケジュールアプリのPostgreSQLからSQLiteへの移行 - SmartHR Tech Blog
久しぶり、プログラマーのkinoppydです。前回の記事では、RubyKaigi公式スケジュールアプリ 「Schedule.select」 のデザイン刷新に関してお届けしました。 tech.smarthr.jp Schedule.selectの今年の大きなトピックは以下の5つです。 デザインの刷新 PostgreSQLからSQLite3への移行 Solid三兄弟の導入（cableはまだ使うかどうかわかりませんが……） Rails 8へのアップグレードとPWA対応 Kamalによるデプロイ 今回は第2回目として、Schedule.selectのデータベースをPostgreSQLからSQLiteへ移行したお話しをします。 目次 目次 Why SQLite PostgreSQLからSQLiteへのデータ移行 pg gem を削除し、sqlite3 gemを入れる config/database.
PGlite + pgvector で100行で実装するベクトル検索 (node/deno/drizzle)
pglite + pgvector で文章の類似度検索を実装します。 動機 とにかく手っ取り早くローカルにデータを突っ込んでおいて検索する RAG の雛形がほしかったんですが、調べても大規模ストレージを前提とした大掛かりな実装が多いです。 スクリプトを書いたらポンと実行できるセットアップ不要なものがあると、色々と実験ができます。 mastra/rag を読んでたら、簡単にできる気がしたのでやりました。ただ、chunk のドキュメント分割相当のものはまだ作ってません。そこまで難しい概念でもないので、雑に作れそうではあります。 qrdrant も検討しましたが、サーバーを建てるのが面倒でした 準備: ベクトル化用の関数 今回は @ai-sdk/openai を使ってベクトル化をします // OPENAI_API_KEY= import { openai } from "@ai-sdk/open
マルチテナントなWebサービスでデータベースをBigQueryからPostgreSQLに移行してRow Level Securityを導入した - エムスリーテックブログ
こんにちは。AI・機械学習チームの高田です。 マルチテナント構成のWebサービスでは、データの分離とセキュリティを確保することが非常に重要です。マルチテナント構成とは、1つのシステムやアプリケーションを複数の顧客（テナント）で共有する設計アプローチを指します。 今回は、当社のあるプロダクトで行った2つの改善施策について紹介します。 BigQueryからPostgreSQLへの移行: より効率的なデータアクセスとコスト削減 Row Level Security（RLS）の導入: データベースレベルでのセキュリティ強化 これらの施策により、セキュリティ向上とコスト削減の両方を実現できた事例を解説していきます。 なぜ移行したのか テナントID分離型を採用 移行前のアーキテクチャ 移行後のアーキテクチャ PostgreSQLテーブル構築のためのバッチ処理の実装 PostgreSQLクエリの最適化
CloudSQLのSQL監査ログを取得してみた！ - Qiita
やりたいこと CloudSQLに格納されている機密情報に対して、不正なSQLクエリが実行されていないか監査したい。 設定方法 GCPのWeb管理コンソールにログイン後、[SQL]をクリックし、インスタンスIDをクリックします。 [設定] > [設定の編集]をクリックします。 [設定オプション] > [データベース フラグの追加]で[+項目を追加]をクリックします。 [フラグを選択]をクリックし、[log_statement]を選択します。 全てのログを取得するように[all]を指定します。 [保存]します。 [設定]で内容に追加されていればOKです。 【参考】 ・データベース フラグを構成する ・log_statement 動作確認 [Cloud Shellを使用して接続]をクリックします。 Cloud ShellでDB接続後、以下のように①テーブル作成、②データ投入、③データを参照を実施
ParadeDB
With the release of v0.6.0, which marks the first stable release of the ParadeDB full-text search extension, we have renamed pg_bm25 to pg_search. We're unveiling pg_search: a Rust-based Postgres extension that significantly improves Postgres' full text search capabilities. pg_search is named after BM25, the algorithm used by modern search engines to calculate the relevance scores of search result
統計ダッシュボード機能を BigQuery と BI Engine で実装する
先日、統計ダッシュボード機能(β)をリリースしました。記事をひとつでも公開している場合、Zennにログインすればどなたでも統計情報を表示できます。執筆頻度の確認や閲覧回数の参考にお役立てください。 本稿ではどのように実現したかについて課題とともに記録します。 TL;DR 投稿ページの表示イベントは Google Analytics から BigQuery へ連携しており、イベントデータ（BigQuery）と記事データ（Cloud SQL）をどうJOINさせるかが課題 外部接続でBigQueryからCloud SQLつなぐことにした 統計データ読み出し時、BigQueryを直接使うとクエリ毎に課金されてしまうため、BigQuery BI Engine を使うことにした スケジュールクエリを使い、BI Engineの容量に収まるように集計データを最小限にまとめる チャートは Chart.js
Create an advanced search engine with PostgreSQL by Tudor Golubenco
Create an advanced search engine with PostgreSQLPostgreSQL provides the necessary building blocks for you to combine and create your own search engine for full-text search. Let's see how far we can take it. This is part 1 of a blog mini-series, in which we explore the full-text search functionality in PostgreSQL and investigate how much of the typical search engine functionality we can replicate.
20x faster than pgvector: introducing pg_embedding extension for vector search in Postgres and LangChain - Neon
20x faster than pgvector: introducing pg_embedding extension for vector search in Postgres and LangChainHNSW Index for approximate nearest neighbor search in Postgres Back when we wrote this, we were proud to bring HNSW indexes to Postgres. Since then, pgvector has added support for the HNSW index, and we've chosen to pause the development of pg_embedding and contribute to pgvector instead. We pla
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Converging Database Architectures DuckDB in PostgreSQL
PGlite
GitHub - duckdb/pg_duckdb: DuckDB-powered Postgres for high performance apps & analytics.
DuckDB Labs – Announcing the Hydra Partnership
GitHub - paradedb/paradedb: ParadeDB is a modern Elasticsearch alternative built on Postgres. Built for real-time, update-heavy workloads.
GitHub - supabase-community/postgres-language-server: A Language Server for Postgres
GitHub - jonra1993/fastapi-alembic-sqlmodel-async: This is a project template which uses FastAPI, Pydantic 2.0, Alembic and async SQLModel as ORM. It shows a complete async CRUD using authentication and role base access control.