Debezium
Debezium is an open source distributed platform for change data capture. Start it up, point it at your databases, and your apps can start responding to all of the inserts, updates, and deletes that other apps commit to your databases. Debezium is durable and fast, so your apps can respond quickly and never miss an event, even when things go wrong. Try our tutorial Stream changes from your database
データベースの値をちょっとだけ書き換えたら検索に数十分かかる様になって障害になった裏話 - STORES Product Blog
はじめに 2024年1月にリテール(ネットショップ・レジ)部門からサービス(予約)部門に異動になった @ucks です。 異動してからはスマートリストという機能の開発を行っていて、5月6日に無事リリースできたのと、開発途中で障害に至ってしまった部分があるので、裏側を少し紹介しようかなと思います。 はじめに スマートリストとは スマートリストの設計 検索の仕様変更 高負荷時のハンドリング そして障害へ 見逃した点 DBの実行計画確認時の見逃し 動作確認時の漏れ 監視先の漏れ ログの損失 おわりに スマートリストとは スマートリストの開発についての話を行う前に、まずはスマートリストについて簡単に説明しておきます。 スマートリストとは、特定の条件の顧客をラベリングする機能です。 早い話、最終予約日がいつ、予約回数が何回以上等の顧客の検索条件を保存しておいて、閲覧時にラベリングして、視認しやすくし
explainだけじゃわからない！MySQLのindexの考え方 - BASEプロダクトチームブログ
はじめに こんにちは、バックエンドエンジニアのSakiです！バックエンドでPHPを書いたり、PHPという言語そのもののメンテナーもしています。 この度、注文データダウンロードAppのパフォーマンスをアップさせるため、とても入念にデータベースまわりの処理を見直しました。その中でも特に速度に関わってくる「index」についての考え方をまとめたいと思います。 この記事はMySQL（InnoDB）についての記事であり、他のRDBについては当てはまらない場合もあるということにご注意ください。 indexとは何か、おさらい ご存知の方ももちろん多いと思いますが、indexについておさらいさせてください。 indexとは辞書でいうところの目次に相当するもので、目的のデータをいち早く検索するために重要なものです。もし辞書に目次が存在しなかった場合、目的の情報を探すのにとても苦労するだろうというのは想像しや
クラウド時代のデータベースを理解するために①
最近、分散データベースとかNewSQLとかサーバレスなデータベースとか色々聞きますよね。 でも、専門ではない人たちにとって、「何が違うの？」「自分たちに必要なDBはどれなの？」という点が分かりづらいと思います。 私も良く聞かれます。 AuroraはNewSQLですか？ NewSQLってサーバレスなんですか？ スケールできないDBとか聞きますけど、リードレプリカ増やせますよね？ などなど。この辺に基本的なところから答えられるように、順を追って解説していきましょう。 「コンピュートとストレージは別であれ」 と神が言うと、コンピュートとストレージは分離された。 と言うのは冗談ですが、まずはここからスタートしましょう。 クラウド以前のデータベースを使っていた人にはお馴染みのように、それまでデータベースは大きな1つの箱でした。 過去に私は下図でデータベース（厳密にはRDBMS）のコンポーネントを解説
データベースライブラリTkrzwの初版リリース - 豪鬼メモ
データベースライブラリであるTkrzwの初版をリリースした。Kyoto Cabinetの正式な後継製品である。本家のサイトはここである。設計目標の通り、高速かつ堅牢で多目的に使える実装になったと思っている。私の下手な英文を読ませるのも忍びないので、ここに概要を書いておこう。 ダウンロードとインストール このディレクトリにソースファイルのパッケージが置いてあるので、ダウンロードする。あとは典型的なインストール手順を踏襲すればよい。 $ tar zxvf tkrzw-0.9.1.tar.gz $ cd tkrzw-0.9.1 $ ./configure $ make $ make check $ sudo make install自分の環境でもテストをしたいという人は以下のコマンドを実行してもよいし、しなくてもよい。テストケースはGoogle Testを使って書かれているので、予めそれをインス
MySQLのインデックスの貼っていいとき悪いときを原理から理解したいよ😭
今回答えを出したい問いはこちら！！ インデックスはどのような仕組みを以て、何を実現したいものなのか それを踏まえたとき、インデックスはどういう場合になぜ貼る方が良いのか。また、どういう場合になぜ貼らない方が良いのか 大体分かっているよって人はサヨナラって感じのおさらい記事だぜ！！！！それじゃいってみよー🎉 あと、おれは今回MySQLにしぼっていくぜ👶 ってわけでOracleとかに興味があるやつは引き返しな！ indexの概要 公式の見解としては「where句を使ったselectクエリの実行速度を向上させるために実装されている、各行へのポインターのような振る舞いをする仕組み」って感じ👶 The best way to improve the performance of SELECT operations is to create indexes on one or more of t
GitHub - kysely-org/kysely: A type-safe typescript SQL query builder
Kysely (pronounce “Key-Seh-Lee”) is a type-safe and autocompletion-friendly TypeScript SQL query builder. Inspired by Knex.js. Mainly developed for Node.js but also runs on all other JavaScript environments like Deno, Bun, Cloudflare Workers and web browsers. Kysely makes sure you only refer to tables and columns that are visible to the part of the query you're writing. The result type only has th
Kysely | Kysely
Type-safe SQL queriesKysely let's you write type-safe SQL queries. This eliminates entire classes of errors and let's you sleep peacefully at night. No magic, just SQLKysely is a light abstraction layer over SQL. This makes it easy to reason about performance, and reduces the amount of concepts you need to learn to be proficient with the library. Great autocompletionBy exposing your database schem
TiDB + Prisma (Edge Functions Preview)をCloudflare Workersで動かす
2024/03/12にリリースされたPrisma v5.11.0でEarly AccessからPreviewになったため、記事を更新しました。 https://www.prisma.io/blog/prisma-orm-support-for-edge-functions-is-now-in-preview PlanetScaleからTiDB Serverlessへ サーバーレスデータベースのリーダー的存在だったPlanetScaleが無料プランを廃止することが発表されました。 自分はPlanetScaleがまだベータ版だった2021/11からサービスを触り始め、自社サービスのプロダクションデータベースとしても使っており、純粋にファンだったのもあって非常に残念でした。 とはいえ趣味で運用しているサービスのために課金することは難しいため、無料プランがある移転先を探していました。 以下のスクラ
リレーショナルデータベース特別講義
内容詳細 データベース研究の大家である著者が日頃より蓄えていた深い知識を，4つのテーマで構成して詳解・詳論．「データベースの真髄」に迫る好個の書． 第1部 リレーショナルデータモデル 第1章 3NF分解と関数従属性保存 1.1 はじめに 1.2 基礎的事項 1.3 関数従属性保存とは 1.4 3NF分解が関数従属性保存である例 1.5 いかなる3NF分解も関数従属性保存でない例 1.6 3NF分解が関数従属性保存となるか否かが，場合による3例 1.7 おわりに 第2章 6NF？ 2.1 はじめに 2.2 正規化理論 2.3 6NF 2.4 おわりに 第3章 候補キーの見つけ方 3.1 はじめに 3.2 基礎的事項 3.3 候補キーを1つ見つける 3.4 候補キーを全て見つける 3.5 候補キーの数の上限は？ 3.6 おわりに 第4章 NULLとその意味 4.1 はじめに 4.2 NULLと
増永教授のDB特論
1. はじめに ビュー（view）はリレーショナルデータベースの始祖コッド（E.F. Codd）がリレーショナルデータモデル[1]を世に問うてから 4 年後の 1974 年に彼自身により導入されました[2]．ビューは定義だけが存在し実体は伴わない仮想的なリレーションであるところがデータベースに格納されているリレーション，これを実リレーション（stored relation）という，と根本的に異なるところです． 続きを読む 1. はじめに ビッグデータの管理・運用で注目を浴びることとなった結果整合性（eventual consistency）ですが，賛否両論あるようです．否定的な意見は，たとえば，クレップマン（Martin Kleppmann）[1]の 著作に見ることができます．この著作，結構多くの方々がお持ちかと思いますが，クレップマンは複 製を行うデータベースのほとんどは，少なくとも結果
データモデリングでドメインを駆動する | プログラミング・システム開発,開発技法・ソフトウェアテスト・UML,開発技法・開発管理 | Gihyo Direct
データモデリングでドメインを駆動する ──分散／疎結合な基幹系システムに向けて 2024年2月24日紙版発売 杉本啓 著 A5判／400ページ 定価3,740円（本体3,400円＋税10%） ISBN 978-4-297-14010-6 この本の概要 本書のテーマは「データモデリング」と「基幹系システム」です。 Web上で台頭しつつある新たなビジネスは，新たな基幹系システムを必要としています。一方，既成ビジネスでは，モノリシックで硬直的な基幹系システムをしなやかな姿に変えていく必要があります。 基幹系システムの中核には「構造化されたビジネス記録」＝「帳簿」があります。そのデザイン，つまりデータモデリングがいずれの取り組みにおいてもカギですが，データモデリングが真価を発揮するには，その知識体系を現代的に仕立て直す必要があります。 本書では，「活動のシステム」と「経営管理のシステム」という線引
「開発者向けの MySQL 入門」という勉強会をしました - しなしな記録
今、自分が所属している会社では、いわゆるフルサイクルなアプリケーションエンジニアがほとんどで、SRE のような、システムを運用改善することを専門にするメンバーは居ません。一方でそれなりにプロダクトの数は多く、各種ミドルウェアの運用で困っているのを見かけることがあります。 色々な人が似た問題に悩むのはもったいないので、「MySQL を運用したことがある人からすると、こういう考え方をする」という風な目線で勉強会を行いました。せっかくなので社内の情報を抜いたうえで公開します（同じようなことを色々な場所で言っていて、その都度作り直しているから……というのもあります）。 speakerdeck.com ちなみに DB のどこで悩むかはだいぶ業界ドメインに左右されると思っています（それはそう）。ゲーム業界なんかは、激しくスパイクするワークロードな上にミスったときの機会損失が激しいので、シャーディングを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - nucleuscloud/neosync: Open source data anonymization and synthetic data orchestration for developers. Create high fidelity synthetic data and sync it across your environments.
Prismaでスキーマ変更を行う際のベストプラクティス
Quary
GitHub - quarylabs/quary: Open-source BI for engineers
データベースでユニークキーにUUIDを使うメリットは何ですか？連番やタイムスタンプまたは複合などではいけないのでしょうか？どうも視認性が悪く使いにくく感じますし連番でも衝突しない気もします。
Neon — Serverless, Fault-Tolerant, Branchable Postgres
GitHub - drawdb-io/drawdb: Free, simple, and intuitive online database design tool and SQL generator.
