It has been an incredible six months since we released our product in beta. From the outset, we focused on creating a platform that would delight developers, built on top of the only open source database proven at hyper scale, Vitess. For years, our technology has allowed companies like Square, GitHub, and YouTube to scale their database and, in turn, their businesses. Our mission is to bring this
Scaling Datastores at Slack with Vitess - Engineering at Slack
From the very beginning of Slack, MySQL was used as the storage engine for all our data. Slack operated MySQL servers in an active-active configuration. This is the story of how we changed our data storage architecture from the active-active clusters over to Vitess — a horizontal scaling system for MySQL. Vitess is the present and future of Datastores for Slack and continues to be a major success
GitHub - tkuchiki/slp: SlowLog Profiler for MySQL and PostgreSQL
$ slp --help slp is a MySQL/PostgreSQL SlowLog Profiler Usage: slp [flags] slp [command] Available Commands: completion Generate the autocompletion script for the specified shell diff Show the difference between the two profile results help Help about any command my Profile the slowlogs for MySQL pg Profile the slowlogs for PostgreSQL Flags: --config string The configuration file -h, --help help f
GitHub - NickTikhonov/snap-ql: AI-powered Postgres Client
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
徳丸 浩 @ockeghem いよいよ明日開催となりました。既に多くのお申込みをいただいていますが、増枠いただいのでZoom枠、YouTube Live枠ともまだ余裕があるようです #mysql_jp twitter.com/ockeghem/statu… 徳丸 浩 @ockeghem 4月22日（木）19:00～オンライン登壇します。MySQL中心にウェブシステムから見たデータベースセキュリティについてトークします。 / “Club MySQL #5 ～SQLデータベースのセキュリティ - connpass” htn.to/2yQtEv1g6M
この記事では、前回の記事PostgreSQLのrow-level lockの概要に引き続き、動きがわかりづらいPostgreSQLのrow-level lockについての解説を行います。 大まかな概要を掴むための記事なのですべての動作を網羅しているわけではないですし、一部解説に誤りが含まれていたり、正確ではない可能性があるのでご注意ください。 なお、クエリの実行例などはすべてPostgreSQL 13上での動作結果となります。 また、次の二つの拡張機能を利用しています。 https://www.postgresql.org/docs/current/pgrowlocks.html https://www.postgresql.org/docs/current/pageinspect.html ロックに利用される領域について row-level lockはタプルヘッダのt_infomask,
OpenAI: Scaling PostgreSQL to the Next Level | PixelsTech
At the PGConf.dev 2025 Global Developer Conference, Bohan Zhang from OpenAI shared OpenAI’s best practices with PostgreSQL, offering a glimpse into the database usage of one of the most prominent unicorn company. At OpenAI, we utilize an unsharded architecture with one writer and multiple readers, demonstrating that PostgreSQL can scale gracefully under massive read loads. — PGConf.dev 2025, Bohan
Amazon Aurora MySQL 3 の MySQL 8.0 互換版が一般提供 | Amazon Web Services
Amazon Web Services ブログ Amazon Aurora MySQL 3 の MySQL 8.0 互換版が一般提供 Amazon Aurora は、クラウド向けに構築された MySQL および PostgreSQL 互換のリレーショナルデータベースです。Aurora は、従来のエンタープライズデータベースのパフォーマンスと可用性と、オープンソースのデータベースのシンプルさとコスト効率を持ち合わせています。Amazon Aurora MySQL は MySQL 5.7 と互換性に加え、 MySQL 8.0 とも互換性があります。MySQL 8.0 互換の Aurora MySQL 3 が一般提供されています。 Aurora MySQL 3 は、共通テーブル式 (CTE) のサポート、ロールベースの認証、レプリケーションの強化、ウィンドウ関数、インスタント DDL など、いく
GitHub - cybertec-postgresql/pgwatch: 🔬PGWATCH: PostgreSQL metrics monitor/dashboard
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
8月30日、Laravelは「Laravel Cloud」を発表した。Laravelアプリケーションを即座にデプロイできる新しいクラウドプラットフォームだ。 Laravelの創設者であり主要な開発者であるTaylor Otwell（テイラー・オットウェル）氏が、Laracon 2024のキーノートスピーチで初めてこのプラットフォームを公開した。デモンストレーションでは、プロジェクトの作成からLaravelアプリケーションの起動までがわずか25秒で完了したことが示された。 Laravel Cloudは完全に管理されたインフラストラクチャプラットフォームであり、LaravelとPHPに最適化されている。 以下に、Laravel Cloudの主な機能を示す。 即時デプロイ：Laravelアプリケーションをわずか数秒で起動・デプロイできる。 自動スケーリング：アプリケーションの需要に応じて、自動的
この記事は Perl Advent Calendar 2021 と MySQL Advent Calendar 2021 の3日目の記事です。 Perl Advent Calendar 2021 の1日目2日目が @hkoba さんのいい話だった流れを遮って、突然のユルいプログラム紹介です。 MySQL Advent Calendar 2021 の2日目は @meijik さんでした。 俺はMySQLが好きでPerlも好きなので、MySQL関連の何かがPerlで書かれているとちょっと嬉しくなります。 Perlはそんなに得意ではないですが、MySQLに絡んでいれば大体何となくわかるものです。 innotop がそれを教えてくれました（俺が %hash=(); @hash{"hoge", "fuga"}= qw{ a b } の記法を知ったのはinnotopが使っていたからです… ) 逆に、P
Introducing Trilogy: a new database adapter for Ruby on Rails
AI & MLLearn about artificial intelligence and machine learning across the GitHub ecosystem and the wider industry. Generative AILearn how to build with generative AI. GitHub CopilotChange how you work with GitHub Copilot. LLMsEverything developers need to know about LLMs. Machine learningMachine learning tips, tricks, and best practices. How AI code generation worksExplore the capabilities and be
PostgreSQL 14 Internals
This book is for those who will not settle for a black-box approach when working with a database. Briefly touching upon the main concepts of PostgreSQL, the book then plunges into the depths of data consistency and isolation, explaining implementation details of multiversion concurrency control and snapshot isolation, buffer cache and write-ahead log, and the locking system. The rest of the book c
PostgreSQLのVACUUMとは
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
今回の記事は、パフォーマンスチューニングの観点と仕組みを理解することに主眼を置いています。具体的な対処方法についてはシステムによって異なるため、マニュアルの確認や、各種チューニングサービスのご利用をご検討ください。なお、この記事で対象にしているPostgreSQLのバージョンは9.5以降です。 本記事の構成 本記事「パフォーマンスチューニング9つの技」は以下4つの記事から構成されています。他の記事も併せてご覧ください。 パフォーマンスチューニング9つの技 ～はじめに～ パフォーマンスチューニング9つの技 ～「書き」について～ パフォーマンスチューニング9つの技 ～「探し」について～（本記事） パフォーマンスチューニング9つの技 ～「基盤」について～ 1. パフォーマンスチューニングの「探し」とは PostgreSQLは、SQLが発行されると、アクセス先のデータの特性を示す『統計情報』を参照
Amazon Aurora DSQL のドキュメント翻訳（特徴、主要コンポーネント、互換性）｜AY
この記事では、Amazon Aurora DSQLの特徴、主要コンポーネント、互換性について翻訳してみました。 特に互換性の サポートしていないPostgreSQL機能 は目を通しておいた方が良いと思います。 ※ 英語得意じゃないので、AIに頼っている部分があるのでご了承ください。 Aurora DSQL について出典: https://docs.aws.amazon.com/aurora-dsql/latest/userguide/what-is-aurora-dsql.html 特徴Amazon Aurora DSQLは、無制限のスケーラビリティ、高可用性、インフラ管理不要のサーバーレス分散型SQLデータベース アクティブ-アクティブの高可用性を提供し、単一リージョンで99.99%、マルチリージョンで99.999%の可用性を実現 ワークロードのニーズに応じて自動的にインフラを管理しスケ
GitHub - supabase-community/postgres-language-server: A Language Server for Postgres
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Cloud SQL Enterprise Plus エディションを発表：新エディションでは MySQL のパフォーマンスが最大 3 倍に向上 | Google Cloud 公式ブログ
Cloud SQL Enterprise Plus エディションを発表：新エディションでは MySQL のパフォーマンスが最大 3 倍に向上 ※この投稿は米国時間 2023 年 7 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。 Cloud SQL は、MySQL、PostgreSQL、SQL Server のワークロードを実行するための Google Cloud のエンタープライズ対応フルマネージド データベース サービスです。デジタルサービスから銀行、小売業まで幅広い業界で利用されており、現在 Google Cloud を活用している上位 100 社のうち 95％ 以上のお客様が Cloud SQL を利用しています。より要求の厳しいワークロードがクラウドに移行するにつれ、より高いパフォーマンスと可用性を求める声が聞かれるようになりました。さらに、個々
WebAssembly製のインブラウザPostgreSQL「database.build」がバージョンアップ。AWSへのデプロイや任意の大規模言語モデルとの連係が可能に
WebAssembly製のインブラウザPostgreSQL「database.build」がバージョンアップ。AWSへのデプロイや任意の大規模言語モデルとの連係が可能に PostgreSQLをベースにしたBaaS（Backend as a Service）の「Supabase」を開発し提供しているSupabase社は、Webブラウザ上で実行可能なWebAssembly版PostgreSQLの新バージョンとなる「database.build 2.0」を発表しました。 We've been hard at work since launching https://t.co/tPSklMW859, and we're thrilled to unveil a lineup of new features: - Bring-your-own-LLM - OpenAI compatibility -
データ永続化と構築運用の自動化を実現する「PostgreSQL on Kubernetes」の仕組み
アプリケーションやWebサーバ、データベース（DB）などシステムを構成するためのプラットフォーム統一が不可欠となる中、本番利用に耐えられるまで十分成熟しているのがKubernetesだ。大手クラウドプロバイダーがマネージドサービスを提供するなどトレンドになっている。 連載第1回では、クラウドネイティブ時代のDBに求められる3つの要件として「アジリティ、可用性、拡張性」を紹介した。第2回はKubernetesでPostgreSQLを扱うことでどのようにアジリティ、可用性、拡張性およびDB固有の要件を実現できるか解説する。 Kubernetesの特徴 あらためてKubernetesとは、コンテナ管理を自動化するためのプラットフォームだ。Kubernetesはマニフェストを用いて宣言された「あるべき状態」を維持するために、自律的に動作する。定期的に「現在の状態」を監視し、「あるべき状態」と「現在
Although the main interface between applications and a Vitess database is through the MySQL protocol, Vitess is a large and complex distributed system, and all the communication between the different services in a Vitess cluster is performed through GRPC. Because of this, all service boundaries and messages between Vitess' systems are specified using Protocol Buffers. The history of Vitess' integr
go-sql-driver/mysql のバッファサイズが4KiBなのは小さすぎる？？ - methaneのブログ
qiita.com そもそも fetchall があればパフォーマンスが上がるわけでは無いので。https://t.co/O4u3zZcnYx これを16KiBにしたらパフォーマンス上がるはず。— Inada Naoki (@methane) December 17, 2020 go-sql-driver/mysql のバッファサイズは4KiBで、大きいクエリを送るなり大きいパケットを受信すれば自動的に増えますが、小さいrowを大量に受信する場合は4KiBのバッファを使って何度もReadをしてしまいます。これを大きくすればReadの回数が減って高速化できそうな気がします。 ということで、話題のリポジトリをforkして、DBからselectしてCSVを書き出す部分だけを100回ループしてみました。CSVの書き出しがネックにならないようにbufio.NewWriterSize()を使ってバッフ
Introducing Amazon Aurora MySQL enhanced binary log (binlog) | Amazon Web Services
AWS Database Blog Introducing Amazon Aurora MySQL enhanced binary log (binlog) Amazon Aurora is a MySQL and PostgreSQL-compatible relational database built for the cloud. Aurora combines the performance and availability of traditional enterprise databases with the simplicity and cost-effectiveness of open-source databases. Aurora has a history of innovating around database engines and the underlyi
はじめましての方ははじめまして、アルバイトとして働いているJavakkyです。 本記事では、データベースを利用するアプリケーションのテストに利用できるphp-mysql-engineというライブラリの導入方法と使用感について紹介します。 github.com php-mysql-engineとは php-mysql-engineは動画共有サイトを運営するVimeo社が開発しています。このライブラリの目論見はVimeo Engineering Blogで説明されています。 medium.com このライブラリはVimeo社のMatt Brownさんが二年前に開発していたhacktophpを用いて、Slack社がHackで実装したslackhq/hack-sql-fakeをPHPコードに変換したものを下敷きにしています。 開発者のMatt Brownさんは、静的解析でVimeo社のコードを改善
Data Modernization Day in Japan #3 「2.5時間で学ぶ！ Amazon Aurora のいま」資料・動画及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ Data Modernization Day in Japan #3 「2.5時間で学ぶ！ Amazon Aurora のいま」資料・動画及び QA 公開 先日(2022/9/1) に開催した Data Modernization Day in Japan #3「2.5時間で学ぶ！ Amazon Aurora のいま 〜アーキテクチャと高可用性にパフォーマンスチューニングをそえて〜」の資料・動画を公開しました。今回のセミナーでは、RDS/Auroraの最新アップデートのセッションに加え、多くのお客様へのご利用が加速しているAuroraに関して、アーキテクチャ・高可用性・パフォーマンスチューニングに関するDive Deepセッションを行いました。 当日、参加者の皆様には数多くの QA を頂きありがとうございました。頂いた QA の一部についても
Making Aurora Write Latency 15x Higher (or More!) by Choosing a Bad Primary Key
Primary Key design is an important thing for InnoDB performance, and choosing a poor PK definition will have an impact on performance and also write propagation in databases. When this comes to Aurora, this impact is even worse than you may notice. In short, we consider a poor definition of a Primary Key in InnoDB as “anything but quasi sequential values”, which may cause very random access to dat
The Majority of PostgreSQL Servers on the Internet are Insecure
The majority of PostgreSQL servers on the Internet do not support SSL Encryption.At most 15% of the approximately 820,000 PostgreSQL servers listening on the Internet require encryption. In fact, only 36% even support encryption. This puts PostgreSQL servers well behind the rest of the Internet in terms of security. In comparison, according to Google, over 96% of page loads in Chrome on a Mac are
2024年3月から始まるサポート期間が伸びるけれども費用もかかるAmazon RDS延長サポートとの付き合い方~MySQL 5.7/PostgreSQL 11を例に~ | DevelopersIO
メジャーアップグレードを先延ばしした場合のTCOと移行コストを比較しましょう。 延長サポート移行時のマイナーバージョンアップグレード方法 延長サポートは、特定のマイナーバージョンでのみサポートされています。 RDSを例に取ると、MySQLは5.7.44、PostgreSQLは11.22です。 マイナーバージョンの自動アップグレードを有効にしている場合、すでにこの最新マイナーバージョンにアップグレードされているはずです。 無効にしている場合、標準サポートの終了に伴い、延長サポート対象バージョンへ自動アップグレードされます。 ただし、自動アップグレードの実施タイミングは言及されておらず、メンテナンスウィンドウ中に実施される保証はありません(2024/01/10確認)。 アップグレードのタイミングをコントロールしたい場合、標準サポートが終了する前に、以下のどちらかを実施してください。 手動で実行
Amazon Aurora supports in-place upgrades from MySQL 5.6 to 5.7
Starting today, you can perform an in-place upgrade of your Amazon Aurora database cluster from MySQL major version 5.6 to 5.7. Instead of backing up and restoring the database to the new version, you can upgrade with just a few clicks in the Amazon RDS Management Console or by using the AWS SDK or CLI. Aurora MySQL 5.7 offers enhancements such as JSON support, spatial indexes, and generated colum
GitHub - readysettech/readyset: Readyset is a MySQL and Postgres wire-compatible caching layer that sits in front of existing databases to speed up queries and horizontally scale read throughput. Under the hood, ReadySet caches the results of cached selec
ReadySet is a transparent database cache for Postgres & MySQL that gives you the performance and scalability of an in-memory key-value store without requiring that you rewrite your app or manually handle cache invalidation. ReadySet sits between your application and database and turns even the most complex SQL reads into lightning-fast lookups. Unlike other caching solutions, it keeps cached query
Local write forwarding with Amazon Aurora | Amazon Web Services
AWS Database Blog Local write forwarding with Amazon Aurora Applications designed in the cloud need to be able to scale. For stateless resources like application servers, this is a straightforward task and can be achieved by simply adding additional compute resources behind a load balancer. For stateful resources such as databases, scaling can be more challenging. With the release of Amazon Aurora
Amazon Aurora with PostgreSQL compatibility can now make calls to AWS Lambda functions. AWS Lambda lets you run code without provisioning or managing servers, and without worrying about scalability. You can invoke Lambda functions directly from within an Aurora database via stored procedures or user-defined functions. This allows you to extend the capabilities of the database and invoke external a
【20分で理解】小難しいインデックス・トランザクション・ロックを"サクッ"とMySQLでまとめてみた - Qiita
1. インデックス MySQLで利用可能なインデックスは一部を除き、B-Treeインデックスと呼ばれる構造でできてます。Bツリーインデックスは、ブランチノード(ブランチ), リーフノード(リーフ)で構成されており、ルートノードから数ステップで目的のデータに到達することができます。 データの格納とアクセス方法 クラスタインデックス MySQLのInnoDBストレージエンジンでは、すべてのテーブルは主キー（PRIMARY KEY）によるクラスタインデックスを持ちます。クラスタインデックスとは、データ行が主キーの値によって物理的に順序付けられた状態のことを指します。このため、主キーによる検索は非常に高速です。 セカンダリインデックス セカンダリインデックスは、クラスタインデックス以外のすべてのインデックスを指します。セカンダリインデックスのリーフページ（最下層のインデックスページ）には、インデッ
GitHub - trilogy-libraries/trilogy: Trilogy is a client library for MySQL-compatible database servers, designed for performance, flexibility, and ease of embedding.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - stack-auth/pgmock: In-memory Postgres for unit/E2E tests
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
今年も id:nonylene id:wass80 と出場しました。最終スコアは50,696点で予選突破できました。分析基盤 (Kibanaやプロファイラ) に流れてきたデータを見つつ作戦を立てて実装する、という流れがうまくはまって順調にチューニングを進められたのがよかったと思います。 最終的なサーバー構成 isuports-1 App (Go) nginx isuports-2 DB (MySQL, player_scoreのみ) isuports-3 DB (MySQL) やったこと リポジトリはこちらです。 github.com 分析基盤まわりの話を id:nonylene が書いてくれたので、こちらもあわせてどうぞ。 nonylene.hatenablog.jp id:wass80 視点の記事もあるので、こちらもあわせてどうぞ。 memo.wass80.xyz テナントごとのDBを
マイグレーション実行時のロック競合によるDBインシデントから学んだこと / 開発者向けブログ・イベント | GMO Developers
ActiveRecord::AdapterTimeout Mysql2::Error::TimeoutError: Timeout waiting for a response from the last query. MySQLへの接続がタイムアウトしているようです。このエラー自体は時々見かけるものですが、今回は明らかに様子が違います。通知の量が尋常ではなく、minneへのアクセスが全くできなくなってしまっていました。 原因を探るため、まずは直近の変更内容を確認します。すると、ちょうどその時間にデータベースマイグレーションを実行していたことが分かりました。しかし、マイグレーションの内容自体はそれほど複雑なものには見えません。 Mackerel（サーバーやアプリケーションの監視サービス）の監視画面を確認すると、MySQLのDisk IOPSのreadと接続数が急上昇していました。しかし、そ
GitHub - postgresml/pgcat: PostgreSQL pooler with sharding, load balancing and failover support.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - Sequel-Ace/Sequel-Ace: MySQL/MariaDB database management for macOS
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PlanetScale is now generally available
Club MySQL #5 ～SQLデータベースのセキュリティ
PostgreSQLのrow-level lockの動きについて - Qiita
Laravel Cloud登場！Laravelアプリケーションを即時デプロイ、自動スケーリングも可能
Perlで作られたMySQL用の何かについて
パフォーマンスチューニング9つの技 ～「探し」について～｜PostgreSQLインサイド
Vitess | A new Protocol Buffers generator for Go
「MySQL 8.1」が公開、リリースモデルをイノベーション＆長期サポートの2本立てに再編／オープンソースのデータベースサーバー
ピクシブ百科事典のテストにphp-mysql-engineを導入しました - pixiv inside
Amazon Aurora PostgreSQL Integrates with AWS Lambda
ISUCON12 チーム :old_noto_innocent: で予選突破した #isucon - 私が歌川です
www.nytimes.com
rui2.st.coresv.net
www.betterbidding.com
chimera-novel.jp
www.bbc.com
americancallsupport.exblog.jp