はじめに Twitterのタイムラインを見ていたらバッチ系のプログラムで逐次コミットをやめて一括コミットにしたら爆速になったというのを見ました。当たり前でしょ、と思ったけど確かに知らなければ分からないよね、と思って主に初心者向けにRDBを扱うときの注意点をまとめてみました。 プログラミングテクニック的なところからテーブル設計くらいの範疇でDBチューニングとかは入ってないです。 自分の経験的にOracleをベースに書いていますが、他のRDBでも特に変わらないレベルの粒度だと思います。 大量の逐次コミットをする バッチアプリケーションでDBにデータをインサートすると言うのはかなり一般的な処理です。しかしデータ量が少ない時はともかく大量のインサートを逐次コミットで処理するとめちゃくちゃ遅くなります。数倍から十数倍遅くなることもあるので、10分程度のバッチが１時間越えに化けることもザラにあるので原

この記事の目的 自分は、とある会社様の元でソシャゲの API 開発をさせていただいています。 ソシャゲは、リリース時やイベント時などに集中アクセスされやすく、負荷軽減の知識がない状態で開発を行ってしまうと、運用時に緊急メンテ祭りになりやすいジャンルかなと思っています。 これまで培ってきた MySQL の知識ですが、脳内メモリ量の関係上、暗記できないのでメモしておこうというのが主目的です。 ここ数年ほどソシャゲ開発しかしていないため、偏っている感がある内容ですのでご注意ください。 概要 ストレージエンジンは InnoDB。メインで扱っている MySQL バージョンは 5.6。 記事の内容ですが、これらのキーワードを見て、おおよそ分かる方は読む必要はないかと思います。 インデックス系 クラスタインデックス カバリングインデックス EXPLAIN で注意するべき値 トランザクション系 MVCC

Amazon Web Services（以下AWS）は、SQL互換の新しい問い合わせ言語およびそのリファレンス実装である「PartiQL」をオープンソースとして公開したことを発表しました。 PartiQLはSQL互換の構文に最小限の拡張を施すことで、リレーショナル形式のデータベースだけでなく、KVSやJSONなどを含むNoSQLデータベースやCSVファイルなど、さまざまなデータソースに対して横断的に検索できる問い合わせ言語およびそのリファレンス実装です。 下記はPartiQLを発表したブログからの引用です。 Today we are happy to announce PartiQL, a SQL-compatible query language that makes it easy to efficiently query data, regardless of where or in

住信SBIネット銀行はネットバンキングシステムを米アマゾン・ウェブ・サービス（AWS）のクラウドサービスに切り替えた。同時にデータベース（DB）も米オラクルから AWSに置き換える。DB運用費を8割削減し、3年間で移行コストを回収する。ネット専業の重要システム、全面移行住信SBIネット銀行が2020年3月の完了を目標に、インターネットバンキングシステムの全面クラウド移行プロジェクトを進めてい

今回はデータベースの正規化について取り上げます。 PostgreSQL固有ではなく、RDBMS全般に関わる一般的なテーマですが、データベースを扱う上で重要な下地となる部分ですので、ぜひ基礎固めとしてご利用ください。「正規化」はOSS-DB Exam Silverの出題範囲にも含まれていますので、受験を考えている方も気を抜かずに取り組みましょう。 データの重複をなくし整合的にデータを取り扱えるようにデータベースを設計することを、データベースの正規化と呼びます。正規化を行っておくと、データの追加・更新・削除などに伴うデータの不整合や喪失が起きるのを防ぎ、メンテナンスの効率を高めることができます。 正規化の段階には、第1～第5正規形およびボイスコッド正規形がありますが、ここでは、データベースを設計する際に一般的に用いられる第1～第3正規形までを、前回登場したテーブルをもとにして説明していきます。

こんにちは、ぐるなび データマネジメントグループの中島です。 我々のグループは、全社的なデータマネジメントの企画・推進を行っております。直近では特に、メタデータ管理に力を入れています。 今回はその メタデータ管理 の一端についてお伝えしたいと思います。 そもそもデータとは？ そもそもデータとは何でしょうか。 メタデータの話をする前に、データについておさらいしておきます。 エンジニアブログを読んで頂いているみなさんに「データ」の話なんて いまさら何を……と思われるかもしれませんが、初心に返って調べてみると色々と発見ができました。 Wikipediaによると、 データ（英: data）とは、事実や資料をさす言葉。言語的には複数形であるため、厳密には複数の事象や数値の集まりのことを指し、単数形は datum（データム）である。 とあります。（Wikipedia データ 2019年4月10日 (水

こんにちは、IT統制セクション データマネジメントグループの宮澤です。 2009年にぐるなびに入社し、データベース管理者（DBA）としてキャリアを重ねてきました。2016年からは、データ管理者（DA）のチームを発足し、関係各部署と協力し、全社的なデータマネジメントの企画・検討と推進を行っております。 ぐるなびにおけるデータマネジメントの取り組みについては「メタデータ管理のすすめ」の中で公開されていますので、ご興味のある方は、合わせてお読み頂ければと思います。 私の所属するIT統制セクションは「データ利活用の促進」もミッションの一つに掲げており、社内データはもちろん、昨今話題になっているオープンデータの社内利用や連携なども検討しておりました。 そんな折、日頃からお世話になっている日本データマネジメント・コンソーシアム（JDMC）の「エンジニアの会」において、あるイベントの出場者を募集していま