数百 shard のデータベース運用を最適化する手法 | BLOG - DeNA Engineering
はじめに インフラエンジニアの天野です。 DeNA Advent Calendar 2021 の1日目として、ここでは DeNA TechCon 2021 Autumn で登壇させていただいた、「数百 shard のデータベース運用を最適化する手法」についてお話していきます。 録画は冒頭に挙げた YouTube に上がっていますので、よろしければそちらもご覧ください。スライドは以下にございます。 DeNA では様々なインフラの運用を自動化してきましたが、データベースの運用にはまだ一定の工数がかかっています。 ここでは、大規模ゲームを例に、DeNA が今まで取り組んできたデータベースの運用最適化の手法について紹介していきます。 大規模ゲームにおけるデータベースの特徴 MySQL 互換 リリース直後の膨大なリクエストを捌くために数百 shard の水平分割 台数が増えると故障台数も増えて運用負
https://mysql-unconference.connpass.com/event/310279/ https://amamanamam.hatenablog.com/entry/2024/02/11/005331
ridgepoleの紹介 - Qiita
この記事は、UUUM Advent Calendar 2018 9日目です。 UUUMシステムユニットに入社して６ヶ月、赤根谷です。 今回は弊社で使っているridgepoleというgemの紹介をしたいと思います。 （先月に弊社のはてなブログで公開した内容とほぼ一致してしまうのですが、読んだという方はあまり多くないと思うので再利用してしまいたいと思います。） ブログとの大きな差分だけを読みたい方は 「弊社ブログ記事に追記」の箇所だけお読みください。バグをコミットして修正したよ、という話です。 それ以外の方は上から順番にどうぞ。 はじめに 弊社ではRailsを利用したプロジェクトが多いです。そして一部でマイングレーションツールとしてridgepoleというrubyのライブラリ(gem)を使っております。弊社で開発しているわけではありませんが、今回はそのgemの紹介です。 環境 なお弊社ではru
GitHub - wey-gu/py-pglite: PGlite wrapper in Python for testing. Test your app with Postgres just as lite as SQLite.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
本エントリーは PostgreSQL Advent Calendar 2021 の 20日目 です。 昨日は @kingtomo1122 さんの「Towers of Hanoi on PostgreSQL」でした。 ロボットアームまで持ち出すとは素晴らしい記事でしたね！ はじめに (ポエム風？) よなよなエールを愛する PostgreSQL Contributor の @yamatattsu です 1。 今年をふりかえると、社内PJへの技術支援の傍らでコミュニティ活動としては以下を頑張りました。 PGConf.Online 2021 で講演 Europa PostgreSQL User Group の依頼によるインタビュー記事執筆 PG14 で拡張統計の一覧機能 (\dX) の実装2 など 限られた時間の中で成果を出したと言えますが、改善の余地もあります。 それは "英語" なのですが、上
MySQLの行ロックを図解 - Qiita
MySQLでロックする際、範囲指定の方法や指定するカラムによってロック範囲が変わります。 この記事ではいくつかのパターンを図解してみたいと思います。 前提条件 最初に前提条件を記載します。 この記事でMySQLを実行する際、MySQLのバージョン8.0.27を利用しています。 実際にロックを取得するのはlocks テーブルを使います。 ロックを取得する方法は様々ありますが、for updateを使い排他ロック(U)を取得してロック範囲を検証します。 テーブル定義 Name Type Nullable Extra Definition Comment
MySQL のバックアップに Percona XtraBackup を使って、Amazon S3 へ直接バックアップする | CyberAgent Developers Blog
MySQL のバックアップに Percona XtraBackup を使って、Amazon S3 へ直接バックアップする 技術本部 サービスリライアビリティグループ（SRG）の長谷川 @rarirureluis です☺ #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 弊社では Cycloud と呼ばれる、サイバーエージェント社内で運営されているプライベートクラウドがあります。 CyberAgentのプライベートクラウド Cycloudの運用及びモニタリングについて #CODT2020 / Administration and Monitoring for Cycloud 僕が担当しているいくつかのサービスでも Cycloud を利用
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
今回の記事は、パフォーマンスチューニングの観点と仕組みを理解することに主眼を置いています。具体的な対処方法についてはシステムによって異なるため、マニュアルの確認や、各種チューニングサービスのご利用をご検討ください。なお、この記事で対象にしているPostgreSQLのバージョンは9.5以降です。 本記事の構成 本記事「パフォーマンスチューニング9つの技」は以下4つの記事から構成されています。他の記事も併せてご覧ください。 パフォーマンスチューニング9つの技 ～はじめに～ パフォーマンスチューニング9つの技 ～「書き」について～ パフォーマンスチューニング9つの技 ～「探し」について～ パフォーマンスチューニング9つの技 ～「基盤」について～（本記事） 1. パフォーマンスチューニングの「基盤」とは PostgreSQLでは、追記型アーキテクチャーが採用されており、様々なシステム要件や状況に応
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
今回は、MySQL 5.7.6から導入されたGenerated Columnに関して紹介していきます。この機能はテーブル定義で宣言した式に従って値を自動で生成し、カラムとして扱えるようになる機能です。アプリケーションで計算した値を加える場合に比べると、手作業などで挿入や更新を行った際に再計算を自動で行ってくれ、うっかりミスを防げる利点があります。 今回はそんな便利に使えるGenerated Columnを紹介していきます。 検証環境 今回は第125回 phpMyAdminでDockerで建てたMySQLにアクセスするで紹介したdocker-composeを利用して作成します。手元で簡単に試せるように、GitHubのわたしのレポジトリにサンプルコードとして置いてあるので、気軽に試したい方はgit cloneして試してみてください。試すにはdockerとdocker-composeが必要です。
Featured Partner Articles Cloud cost optimization best practices Read moreHow to choose a cloud provider Read moreDigitalOcean vs. AWS Lightsail: Which Cloud Platform is Right for You? Read more
これは インフラ勉強会 Advent Calendar 2018 19 日目の記事です。 書いているうちに日付が変わってしまいました。 同カレンダーの 17 日目に、 「MySQL8.0 で起こる謎のデッドロックの条件を調べてみた」を data_locks・data_lock_waits テーブルで確かめてみた という記事を書きましたが、そもそも MySQL（InnoDB）のロックについて何も解説していないので、おそらく MySQL 初心者には全く意味の分からない記事になってしまったと思います（すみません）。 というわけで、すでに語りつくされている内容ですが、先の記事を理解するのに最低限必要になりそうなことを補足していきます。 ※MySQL に慣れている人にはいまさら解説不要な内容です。 MySQL（InnoDB）とトランザクション分離レベル 細かいことは説明しませんが、MySQL を含む
Apache AGE, Graph database optimized for fast analysis and real-time data processing. It is provided as an extension to PostgreSQL.
Apache AGE™ Graph Database for PostgreSQL Apache AGE™ is a PostgreSQL Graph database compatible with PostgreSQL's distributed assets and leverages graph data structures to analyze and use relationships and patterns in data. Get Started with Apache AGE Download Apache AGE Apache AGE™ is a PostgreSQL that provides graph database functionality. The goal of Apache AGE™ is to provide graph data process
【Laravel】 Eloquent の has() や whereHas() が遅い？なら速くしてやるぜ - Qiita
【Laravel】 Eloquent の has() や whereHas() が遅い？なら速くしてやるぜPHPMySQLSQLLaravelEloquent はじめに 2021/10/21 追記: Postgres は MySQL と異なり，相関サブクエリの JOIN 最適化もカバーしています。それゆえ，主にこの記事の内容は MySQL を想定したものとなっております。 （情報提供: @KentarouTakeda） 2022/12/22 追記: MySQL もバージョン 8.0.16 以降では Postgres に似た最適化が入るようになりました。そのため，殆どの場合ではもはや has() whereHas() を素直に使うだけで十分になっています: 【ガチ検証】Eloquent whereHas() はもう遅くないよ！ Laravel は「リレーション先が存在するか」という制約条件を
GitHub - tembo-io/pg_later: Execute SQL now and get the results later.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
MySQL Shell's dump loading utility util.loadDump(), introduced in MySQL Shell 8.0.21, supports the import into a HeatWave Service DB System or a MySQL Server instance of schemas or tables dumped using MySQL Shell's Section 11.5, “Instance Dump Utility, Schema Dump Utility, and Table Dump Utility”. The dump loading utility provides data streaming from remote storage, parallel loading of tables or t
MySQLのInnovation ReleaseとなるMySQL 9.2が2025年1月、MySQL 9.3が2025年4月にリリースされました。以前の記事の第233回 MySQL 9.0と9.1の新機能についてと同じように、今回もMySQL 9.2と9.3の中から気になる新機能や変更点を、いくつかピックアップして簡単に紹介したいと思います。 MySQL 9.2の新機能 最初に、MySQL 9.2の新機能と変更点について紹介します。 CREATE_SPATIAL_REFERENCE_SYSTEM権限の追加 GIS管理のために追加された新しい動的権限です。この権限を持つユーザーは以下のステートメントを実行できます。 CREATE SPATIAL REFERENCE SYSTEM CREATE OR REPLACE SPATIAL REFERENCE SYSTEM DROP SPATIAL R
「楽観同時実行制御ね。おーおーおー、そういうことね。なるへそ？」 Aurora DSQLは、re:Invent 2024の最大の発表でした（個人の感想です）。キーノートの最中に、いきなりGoogle CloudのSpannerが引き合いに出されるほどだったので、Spannerファンの人にも要チェックのアプデだったのではと思います。 マルチリージョン対応 高可用性とスケーラビリティ VPCの外で稼働 サーバーレス設計 ACID特性のサポート PostgreSQL互換rd 楽観的同時実行制御（OCC）の採用 分散アーキテクチャ など、ポイントが目白押しのAurora DSQLですが、トランザクション制御の仕組みが、RDBでは聞き慣れない楽観的同時実行制御（OCC）が採用されていると聞き、改めてその挙動を手を動かしてまとめてみました。 はっきり言います。ドキュメント読んでいるだけより手を動かした
What’s new in the Postgres 16 query planner / optimizer
PostgreSQL 16 introduces quite a few improvements to the query planner and makes many SQL queries run faster than they did on previous versions of PostgreSQL. If you look at the PG16 release notes, you’ll see some of these planner improvements. But with the volume of changes made in each PostgreSQL release, it’s not possible to provide enough detail about each and every change. So maybe you might
PostgreSQL isn’t just a simple relational database; it’s a data management framework with the potential to engulf the entire database realm. The trend of “Using Postgres for Everything” is no longer limited to a few elite teams but is becoming a mainstream best practice. OLAP’s New Challenger In a 2016 database meetup, I argued that a significant gap in the PostgreSQL ecosystem was the lack of a s
今回はALTER TABLEステートメント実行時の注意点について紹介します。 MySQLを運用していると、サービスの仕様変更や新機能のために既存のテーブルに対してテーブル定義を変更することが多いと思います。その際によく起こる問題や注意点に説明します。 ALTER TABLEステートメント まずは、簡単にALTER TABLE ステートメントについて紹介します。テーブル定義を変更するにはALTER TABLEステートメントを利用します。MySQL 5.6以降からInnoDBのテーブルにおいて、オンラインDDLが可能になっています。本連載においても第30回 InnoDBオンラインDDLについてにて紹介しています。 オンラインDDLでは、DDL実行に最小限の時間のロックを取得することで、そのDDLと並列で実行されるDMLの待機も最小限になります。そのため、サービス無停止でALTER TABLEス
改善点 github.com/go-sql-driver/mysql (以降 go-mysql) の v1.8 から、Scanの振る舞いが変わります。 go-mysql v1.7.1 までは、次のコードの2つのクエリのScan結果は異なっていました。 // db の接続設定で interpolateParams が false の場合 var v any db.QueryRow("SELECT 123 WHERE ? = 1", 1).Scan(&v) fmt.Printf("%T %v\n", v, v) // int64 123 db.QueryRow("SELECT 123 WHERE 1 = 1").Scan(&v) fmt.Printf("%T %v\n", v, v) // []uint8 [49 50 51] go-mysql v1.8 (未リリース)からは、これが上の動作に
自動VACUUMの状況を確認する - Qiita
PostgreSQLは追記型のアーキテクチャを採用しているため、不要な領域を解放し再利用できるようにするためにVACUUMという機能があります。 基本は自動VACUUM（auto vacuum）で解放されるため、手動でVACUUMを実行することは少ないです。 自動VACUUMがVACUUMを実行するかどうかは、autovacuum_vacuum_threshold, autovacuum_vacuum_scale_factorパラメータの値を利用して決定されます。 不要レコード数（タプル数） ＞ autovacuum_vacuum_threshold + (レコード数 * autovacuum_vacuum_scale_factor) autovacuum_vacuum_thresholdはデフォルトで"50"レコードです。 autovacuum_vacuum_scale_factorはデ
【New!】Amazon Aurora MySQLがRDS Data APIをサポートしました！ | DevelopersIO
こんにちは。まるとです。 現地時間 2024/9/26、Amazon Aurora MySQLでもRDS Data APIをサポートするアナウンスがありました！ 従来は、Amazon Aurora PostgreSQLのみのサポートとなっておりましたが、今回新たにAmazon Aurora MySQLでもサポートしたことにより、更にDBエンジンの選択肢が増えるのではないでしょうか。 そもそも、RDS Data APIって何？何がすごいの？と感じる方もいらっしゃるかもしれません。 そこで、改めてRDS Data APIを整理し、実際に触っていきたいと思います。 RDS Data APIとは 一言でお伝えすると、APIを通してSQLステートメントを実行できるものです。 特徴としては以下のようなものが挙げられます。 DBクラスターへの永続的な接続が不要（接続を管理する必要がない） HTTPSエン
GitHub - Florents-Tselai/pgJQ: jq extension for Postgres
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
データベース内のデータをメンテナンスする際にmysqlやpsqlといったコマンドを使うこともできます。しかし毎回SQLを書くのは面倒ですし、データ量が増えると一覧性が落ちてしまいます。 そこで使いたいのがデータベース管理アプリケーションです。今回はMySQL/PostgreSQL/SQL Server/MongoDBと幅広いデータベースに対応したDbGateを紹介します。 DbGateの使い方 ローカルアプリケーションとWebアプリケーションで動作します。今回はWebアプリケーション版のデモです。 接続先を選ぶとデータベース一覧が表示されます。 さらにデータベースを選ぶと下にテーブル一覧が出ます。テーブルを選ぶとデータが一覧表示されます。 フィルター機能で簡易的にデータを絞り込めます。 デザイナーを使ってリレーションを設計できます。SQLが生成できるので、ビューの作成にも使えるでしょう。
Photo by Rubaitul Azad on Unsplashはじめにこんにちは、2021年4月にFinatextに新卒で入社し、まもなく3年目になるToshiya Matsuzakiです。サーバーサイドエンジニアとして、AWSでのインフラ構築とGoによるシステム開発を行っています。 先日、MySQL5.7系互換であるAmazon Aurora v2を使用していたリリース前のプロダクトのデータベースを、MySQL8.0系互換であるAmazon Aurora v3にアップグレードした際に、予期せぬバグが発生しました。調べたところ、MySQL5.7から8.0へのアップグレードに含まれていた破壊的変更点によるものでした。 そこで、今回のバグから得た学びと対応方法について書きたいと思います。現在稼働しているシステムに対して、MySQL5.7系から8.0系にアップグレードをすることを検討してい
⚡ Blazing fast NVMe drives with unlimited IOPS now available. Read about PlanetScale Metal ⚡ Welcome! MySQL for Developers is PlanetScale’s free MySQL course that teaches you schema basics, indexing, querying, and beyond. This intermediate MySQL course is appropriate for both developers just getting started with MySQL and those who need a refresher. The course has been created with usability and a
Amazon RDS for PostgreSQL now supports major version PostgreSQL 15
Amazon Relational Database Service (Amazon RDS) for PostgreSQL now supports the latest major version PostgreSQL 15. New features in PostgreSQL 15 include the SQL standard "MERGE" command for conditional SQL queries, performance improvements for both in-memory and disk-based sorting, and support for two-phase commit and row/column filtering for logical replication. The PostgreSQL 15 release also ad
こんにちは。 開発チームのフリー素材担当、まんだいです。 かなり出遅れてますが mysqldump の後継ツールとなる mysqlpump を使ってみたので、まだ使ったことがない人向けにオススメポイントをまとめてみました。 さすが後継というべきか、基本的なオプションの使い方はそのままで mysqldump から移行してきた人にも優しい設計になっていましたので、ぜひ使ってみてほしいと思いました。 MySQL に同梱されているのがポイント高いですよね。 これだけでも乗り換える価値がある、進捗表示 今回試したデータベースはせいぜい 200MB 程度のものなのであまり恩恵はなかったですが、 mysqlpump はダンプの進行具合を逐一表示してくれます。 mysqlpump -uroot -p --databases xxxxx > xxxxx_20XX0X0X.sql Enter password
こんにちわ。せじまです。 2021-07-09、日本MySQLユーザ会会(MyNA会) 2021年07月 -下位レイヤ勉強会- でお話させていただくことになりました。勉強会等でお話させていただくのはずいぶん久しぶりで、オンラインイベントでは初となります。 資料を読み返してると「興味のある方は、予め、関心のある補足資料等にざっと目を通しておいていただいた方が、よりわかりやすくなるかも」と感じたので、イベント開催一週間前ですが、事前に資料を公開させていただくことにしました。
Postgreで単一インデックスでの組合せ機能というものがあることを知りました。 幸いにも、PostgreSQLは、単一のインデックススキャンでは実装できない場合を扱うために、複数のインデックス（同じインデックスの複数回使用を含む）を組み合わせる機能を持ちます。 システムは複数のインデックススキャンを跨がる、AND条件およびOR条件を形成できます。 疑問： 単一インデックスの組合せ機能と、複数列インデックスってどっちが早いの？ たとえば、以下のようなお店が扱う商品コードとその値段を管理するテーブルを作ります。 CREATE TABLE shop_item1 ( shop_id TEXT NOT NULL, -- お店コード item_id TEXT NOT NULL, -- 商品コード price INTEGER NOT NULL -- 値段 ); このテーブルは、shop_idとitem
PostgreSQLのread committed時におけるUPDATEの挙動について - そーだいなるらくがき帳
発端 @soudai1025 https://t.co/ZrXgtDi2La— Ryo Tomidokoro (@hanhan1978) 2022年7月2日 ファントムリードとファジーリード、それぞれがRCでも発生するかどうかって話ですか？— そーだい@初代ALF (@soudai1025) 2022年7月2日 端的に言うと， A: UPDATE tbl SET amount = amount - 1 WHERE amount > 0; B: UPDATE tbl SET amount = amount -1 WHERE amount > 0; で A と B がほぼ同時に流れたとき，amount がマイナスにならない保証があるかどうかですね。SET する部分がアトミックでも WHERE は…？というところです— RDB 初心者 (@mpyw) 2022年7月2日 反復不能読み取り=ファジ
Amazon Aurora MySQLがインプレイスアップグレード(5.6-→5.7)できるようになりました! | DevelopersIO
ボタンひとつでインプレースメジャーアップグレードに対応 Amazon Aurora MySQL のデータベースエンジンは 5.6 互換の1.x 系 5.7 互換の2.x 系 の2系統があります。 従来、1系から2系にメジャーアップグレードするには スナップショットからのリストア時に2系エンジンを指定 1系のプライマリから2系レプリカに同期してダウンタイム無しにスイッチオーバー といった方針が取られてきました。 今回のアップデートにより、Amazon Aurora MySQLをクリックひとつでインプレースにメジャーアップグレードできるようになりました。 Amazon Aurora supports in-place upgrades from MySQL 5.6 to 5.7 アップグレード手順が大幅に簡略化され、エンドポイントの変更もありません。 アップグレード中はデータベースを利用できな
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
ローカル環境を汚さずにMySQLの動作検証をサクッとしたかったので、Dockerを使うことにしました。 やりたい検証は単純なものだったので「わざわざDockerfileを準備しなくても、ベースイメージから直接コンテナを起動すればいいか」と思い、以下のコマンドを実行しコンテナを起動→MySQLに接続しました。 $ docker run --name mysql_container -e MYSQL_ALLOW_EMPTY_PASSWORD=true -d mysql:8.0.36 $ docker exec -it mysql_container bash bash-4.4# mysql mysql>
ElectricSQL | ElectricSQL
sqlCREATE TABLE projects ( id SERIAL PRIMARY KEY, title TEXT UNIQUE ); CREATE TABLE issues ( id SERIAL PRIMARY KEY, project_id INTEGER REFERENCES projects(id) ); tsxfunction Component({ project }) { const { data } = useShape({ params: { table: 'issues', where: `project_id = ${project.id}` } }) return <List issues="data" /> } Sync makes apps awesome Sync is the magic ingredient behind fast, modern
この本の概要 本書では「PostgreSQLを学習，もしくは利用したことがある人」「今後，本格的にPostgreSQLの運用・管理や技術力の向上を図りたいと考えている人」を主な対象読者とし，現場で培われてきたPostgreSQL設計・運用計画の鉄則を徹底解説！ PostgreSQLのコアな技術力を持つ専門家の視点から，システム構築や運用時に重要な要素を，PostgreSQLの内部構造と照らし合わせる形で解説します。内部構造を知っているからこそわかる運用ノウハウやチューニング方法が満載です。本書はPostgreSQL 14をベースに解説しています。 こんな方におすすめ PostgreSQLのシステム設計をする技術者，開発者 運用計画を作成する管理者 この書籍に関連する記事があります！ データベースの内部構造としくみを理解し，高可用性と安定稼働を実現する 本書では「PostgreSQLを学習、
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大テーブルと小テーブルのJOINのコスト計算の話
PostgreSQL でムービーを再生してみた - Qiita
SQL改善で処理時間を約98%カットできた話 - Qiita
パフォーマンスチューニング9つの技 ～「基盤」について～｜PostgreSQLインサイド
PostgreSQLの監視に便利なSQL一覧（随時更新中） - Qiita
Introducing MySQL Innovation and Long-Term Support (LTS) versions
第150回 Generated Columnを利用してみる | gihyo.jp
MySQLで新しいユーザーを作成して権限を付与する方法 | DigitalOcean
MySQL のロックについて補足（注：すでに語りつくされている内容です） - Qiita
MySQL :: MySQL Shell 8.0 :: 11.6 Dump Loading Utility
第245回 MySQL 9.2と9.3の新機能について | gihyo.jp
Aurora DSQLの楽観同時実行制御を手を動かして学ぶ | DevelopersIO
Postgres is eating the database world
第209回 MySQLのALTER TABLEステートメント実行時の注意点 | gihyo.jp
go-mysqlでany型へのScan()が使いやすくなります
DbGate - Webでもローカルでも使えるデータベース管理
MySQL5.7系からMySQL8.0系にアップグレードする際の破壊的変更を回避するために
MySQL for Developers — PlanetScale
ダンプが楽しくなる mysqldump の後継ツール mysqlpump の話 | 株式会社ビヨンド
NAND Flash から InnoDB にかけての話（仮） | GREE Engineering
単一インデックスの組合せ機能と、複数列インデックスの速度の違いを計測してみる
yokuさんにutf8→utf8mb4binのときに教えてもらった便利Tips
DockerのMySQLで日本語入力ができなかった話 - Qiita
［改訂3版］内部構造から学ぶPostgreSQL ―設計・運用計画の鉄則
gatao-healing.hatenablog.com
news.yahoo.co.jp
anond.hatelabo.jp
anond.hatelabo.jp
w-walk.hatenablog.com
anond.hatelabo.jp