DBマイグレーションを行う技術 - 発明のための再発明
データベースのスキーマを変更するということはデータをいじる行為であり、最悪の場合データが消えます。 最悪の事態にはならなくとも、思わぬ場所に影響が起きたり、データの不整合が発生する恐怖と戦う必要が有ります。 テストや切り戻しを含めて計画し、大きな変更の場合にはダウンタイムまで考慮する必要があります。 そこで、RDBを対象にデータベースの変更を行う方法について書いていきます。 スキーマ変更 まずは、スキーマ変更について、 カラムを追加する 一番簡単で、影響も少ない変更です。 気をつけるのは、 ソースコードの変更よりも前にスキーマ変更を完了させる (長時間)ロックがかからない方法を選ぶ といったところでしょうか。 大抵の場合は、スキーマの変更とソースコードの変更の順番にさえ気をつければ問題は発生しません。 カラム名を変更する 「ALTER」でさくっと変えたくなりますが、ソースコードの変更が同時
ArangoDB ってのが面白いと思うんだ - 偏見プログラマの語り！
最近 Graph database が盛り上がってるように感じる。 さて ArangoDB という DB を知っているだろうか。 MySQL とか MongoDB とかと比べると知名度は低いものの、NoSQL、とりわけ Graph database 界隈では名が知られている。Graph database 界隈と書いたが、さしずめこの領域では Neo4j が幅を利かせている。Neo4j なら聞いたことあるって人はたくさんいると思う。 Graph databases ・Neo4j Neo4j の強みとしては、そのクエリ言語である Cypher の読みやすさが一つ挙げられる。Cypher の紹介ページ に書かれている最初のサンプルを引用すると、こうだ。 MATCH(:Person{ name:"Ann"})-[:MARRIED_TO]->(spouse) このクエリは「name が "Ann"
SchemaSpy - 既存のDBスキーマからドキュメント生成
システム開発ではデータベースを使うことが多いです。開発のはじまった段階でしっかりしたER図を作っている場合、開発が進んでいる中で生じた仕様変更を常にドキュメントに反映していかなければなりません。これは大きなコストです。 そこで使ってみたいのがSchemaSpyです。SchemaSpyは現在のデータベーススキーマを取得してドキュメントを生成してくれるソフトウェアです。 SchemaSpyの使い方 生成された内容です。テーブル一覧。 カラム。 リレーションは分かりやすく可視化されます。 さらに改善すべきポイントなど。 SchemaSpyを使えばER図を作ったりする手間なく、既存のスキーマから必要なドキュメントが生成できるようになります。きちんと設計を行っているならば、実際に動いているものは正確なドキュメントになるでしょう。作る手間もないのでお勧めです。 SchemaSpyはJava製のオープン
単独主キーでもDB設計は楽にならない - 設計者の発言
我ながらしつこいが、どんな開発環境においても「id」のような単独主キーを用いる設計手法の危険性について、もう一度指摘したい。この手法を「単独主キー主義」と呼んでおくが、これに関して「複合主キーを用いると主キーが変化しやすいから」とか「単独主キーのほうが仕様変更に対応しやすい」といった擁護意見がある。それらの主張が無効であるばかりか有害でさえあることを説明しよう。 なお、私はこの議論で「だからナチュラルキーが正しい」と言おうとしているのではない。じっさいのところ私はナチュラルキーを主キーにすることに反対しているが、それは本稿の主張と矛盾しない（参考記事）。ここで私が言いたいのは、複合主キーを用いたオーソドックスな設計手法を身につけたうえで、利用する開発環境の制約にもとづいて慎重に正規化崩しできるようになろう、ということだ。 ■サンプルのデータ要件 複合主キーを要求するデータ要件として、前の記
［速報］マイクロソフトがグローバル規模の分散NoSQLデータベース「Azure Cosmos DB」発表。数ミリ秒のレイテンシ保証、一貫性の強さを選択。Build 2017
米マイクロソフトはシアトルで開発者向けイベント「Microsoft Build 2017」で、グローバルに分散した大規模NoSQLデータベース「Azure Cosmos DB」を発表しました。 Cosmos DBはデータを自動的にユーザーの近くのリージョンにレプリケーションすることで、どのユーザーに対しても高速なアクセスを実現し、かつグローバルな規模で分散したシステムとして稼働する大規模分散データーベース。 数ギガバイト程度から数ペタバイトまでのデータ容量と、秒間数百トランザクションから数百マントランザクションまでの性能まで、幅広いデータベース規模をカバーするとともに、非常に大規模なデータベースの展開が可能な高いスケーラビリティが特長です。 また、データモデルとして、キーバリュー型、ドキュメント型、カラムファミリー型、グラフ型が選択でき、データへアクセスするAPIもDocumentDBやM
Webサービスが成長するとロックで苦労する話をしてきた - そーだいなるらくがき帳
気がつけばもう3月。 毎月、ブログを書こうと思っていたのにいきなり2月で挫折しました。 でも過去を振り返っても仕方ないので気持ちを入れ替えて登壇報告です！！ 第19回中国地方DB勉強会 in 米子とMySQL Casual Talkで登壇しました。 speakerdeck.com # 第19回 中国地方DB勉強会 in 米子 dbstudychugoku.github.io # MySQL Casual Talk togetter.com ロック、苦労しますよね。 しかもここでは紹介しませんでしたが粒度としてはここで話したのはHeavyweight Lockの話なのでもっと下のレイヤーも絡みだすと泥沼です。 でもハードの力を使い切ることはエンジニアの腕の見せどころでもあると思います。 このへんの話、苦労話は多いけどじゃあどうやって打開したか！？みたいな話は少ないので機会を見つけてアウトプッ
Apache HBase – Apache HBase™ Home
Welcome to Apache HBase™ Apache HBase™ is the Hadoop database, a distributed, scalable, big data store. Use Apache HBase™ when you need random, realtime read/write access to your Big Data. This project's goal is the hosting of very large tables -- billions of rows X millions of columns -- atop clusters of commodity hardware. Apache HBase is an open-source, distributed, versioned, non-relational da
秒間100万クエリを受け付ける大規模ソーシャルゲームのバックエンドDBシステムの設計・運用ノウハウ
2016/08/26 CEDEC 2016
4ステップで作成する、DB論理設計の手順とチェックポイントまとめ - Qiita
はじめに 「達人に学ぶDB設計」、「SQLアンチパターン」を読んだのでDB設計をする流れとその過程でのチェックポイントをまとめてみました。 今回は本に載っているものの中でも特に重要そうな部分に絞ってみました。 さらに詳しいことを知りたい方は本を購入してみてください。個人的には達人に学ぶDB設計徹底指南書のほうがおすすめです。こちらだけあれば十分だと思います。 DB設計には大きく分けて論理設計と物理設計の二つがありますが、今回はアプリケーション開発でメインとなる論理設計の部分に焦点をあてて説明をします。 一番最後にチェックポイントだけをまとめた章を用意したので、チェックポイントだけ知りたい方は最後だけ見ていただければと思います。 DB論理設計の流れ DB論理設計は以下のようなステップで進めていきます。 エンティティの抽出 エンティティの定義 正規化 ER図の作成 以下では各ステップごとに章を
若手プログラマー必読！５分で理解できるER図の書き方５ステップ
データベース設計の基本中の基本であるER図。ER図を書きたいけど、「記法が分からない」「どういうステップで書けば良いか分からない」という若手エンジニアも多いのではないでしょうか。 ER図は１０種類近くあり、種類によって記法が異なります。このことが難しいイメージを与えていますが、実はそれほど難しいものではありません。覚えれば良いER図は２種類だけです。 しかも、この記事で解説している基礎知識を押えれば、たった５つのステップで作成することができます。 この記事では、ER図の基礎知識からER図の書き方まで、エンジニアが抑えておくべきER図の全知識をどこよりも分かりやすく解説します。 この記事を読み終えたとき、若手エンジニアもER図を書けるようになっているでしょう。 この記事を参考に最適なデータベース設計を進めて下さい。 １．ER図とは ER図とは、「データベース設計（データモデリング）で使う設計
WebDB Forum 2016 で独自解析エンジン「Brook」の技術報告をしてきました | PLAID engineer blog
WebDB Forum 2016でKARTEを支えるリアルタイム解析エンジン「Brook」の発表をしてきました。
DBのCRUDでUとDは必要ないという話を聞きましたが具体的にどう実装するの？
"CRUD is Dead"なんて言われてる方もいらっしゃるようでCRUDのUとDを禁止する流れが存在するようです。 以下のようなサイトでも言われているように、CRUDのUとDを利用せずデータをログのように扱う方法は関連するデータ（特に履歴）が失われないために好感が持てました。 http://tanakakoichi9230.hatenablog.com/entry/6715376804 http://qiita.com/Jxck_/items/156d0a231c6968f2a474 http://mike-neck.hatenadiary.com/entry/2015/03/24/231422 現在MySQLを利用してウェブサービスを作成しようと考えているのですが、実際にUとDを利用しないDB設計をするにはどうすれば良いのかというところでつまづいてしまいました。 自分で考えたものは5つ
MySQL は分散DBの夢を見るか、Google F1 論文を実装した TiDB を使ってみた｜技術ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ
MySQL は分散DBの夢を見るか、Google F1 論文を実装した TiDB を使ってみた こんにちは、インフラエンジニアの nobuh です 分散DBという夢 クラウドのデータベース界隈では昨年くらいから MySQL 互換のクラウドでのデータベース、Amazon Aurora や Google Cloud SQL がホットな話題だと思います。 それはデータベースの黎明期から研究の場では分散データベースというのが大きな研究分野になっていて、RDBMS でありながらもスケールアウトが可能で耐障害性もあり、そして実用的な速度で稼働できるデータベースというのがデータベースエンジニアの約束の地、最後の楽園となっているからです。またその分散データベースが MySQL 互換で WordPress も動けばもう最高です。 Google Cloud SQL の元となっているらしい Google の F
超便利なDB用GUIツール『0xDBE』が『DataGrip 1.0』として正式リリースされました | DevelopersIO
Welcome DataGrip 1.0: a JetBrains IDE for DBs and SQL (formerly @0xDBE) https://t.co/n5mZkr7Dim pic.twitter.com/R6mYxcZ5t7 — JetBrains (@jetbrains) 2015, 12月 16 今年7月に以下エントリで紹介していたDB専用GUIツール『0xDBE』が、正式に『DataGrip』という製品名でこの度リリースされた模様です。 Mac/Windows/Linuxで利用可能なDB専用GUIツール『0xDBE』について ｜ Developers.IO 当エントリでは、ツール『DataGrip』の機能及び費用について簡単にではありますがご紹介してみたいと思います。 目次 DataGrip: 主な機能 DataGrip: 価格 まとめ DataGrip: 主な機
RDB - 実例で学ぶ、JOIN (NLJ) が遅くなる理屈と対処法 - Qiita
"Nested Loop Joinしか取り上げて無いのにタイトルが大きすぎないか" と指摘を頂いたので、タイトルを修正しました。Merge JoinとHash Joinのことはまた今度書こうと思います。 「JOINは遅い」とよく言われます。特にRDBを使い始めて間がない内にそういう言説に触れた結果「JOIN=悪」という認識で固定化されてしまっている人も多いように感じています。 たしかに、JOINを含むようなSELECT文は、含まないものに比べて重たくなる傾向があることは事実です。また、本質的に問い合わせたい内容が複雑で、対処することが難しいものも存在します。しかし、RDBの中で一体どういうことが起きているのかを知り、それに基いて対処すれば高速化できることも少なくないと考えています。 本稿では、JOINの内部動作を解説した上で、Webサービスを作っているとよく出てくるJOIN SQLを例題に
DBTS2015 Tokyo DBAが知っておくべき最新テクノロジー
[db tech showcase Tokyo 2015] D16:マイケルストーンブレーカー発の超高速データベースで実現する分析基盤の簡単構築・運用ステ... 2015年3月、コンピュータ分野のノーベル賞ともいわれるチューリング賞を受賞したデータベース界の巨匠マイケルストーンブレーカー。彼が生みの親である列指向データベースHP Verticaは、圧倒的なパフォーマンスと高い拡張性を実現しつつ、データベースの基本知識だけで簡単・シンプルに構築・運用できることが特長です。本セッションでは、具体的に、どれくらい簡単に高速分析基盤を構築し、どのようにシンプルに運用していくことできるのか？についてお話します。
Goのトランザクションマネージャ作った
Golangのdatabase/sqlはBeginとCommitでトランザクションの制御を行うことができます。 クエリの実行が確実に成功するのであれば難しくは無いのですが、 トランザクション内でエラーが発生場合、確実にトランザクションを終了させるのは少し面倒です。 また、ネストができないので、「トランザクションの中から呼び出しても外から呼び出しても、関数の中はトランザクション内」みたいなことができません。 PerlにはDBIx-TransactionManagerというものがあるのですが、 このGolang版が欲しくなったので作ってみました。 txmanager 簡単な使い方 sql.DB をラップした txmanager.DB を使います。 Begin, Commit する代わりに TxBegin, TxCommit を使ってトランザクションを開始・終了すると txmanagerの管理下
ドキュメント＋グラフのハイブリットNoSQL -> OrientDB 〜導入編〜 - A Memorandum
OrientDB とは 100% Pure Java の NoSQL データベース ドキュメント指向型 と グラフ型 のデータベースを扱える ライセンスは Apache 2 license NoSQLだけど SQL が使える 組み込み/サーバのどちらもOK Github https://github.com/orientechnologies/orientdb バイナリダウンロード http://www.orientechnologies.com/download/ ビルド ダウンロードサイトから落としても同じだが、せっかくなのでビルドする。 ant を使うので入っていない場合は brew などで入れておく。 brew install ant clone して ant でビルドするだけ。 git clone https://github.com/orientechnologies/orie
SQL標準にまつわる濃ゆい話 ―第1回DBオフライン
オブジェクト指向で成功したデータベースはあったのか？ 「今日のDBオフラインはDB Onlineのコンテンツに関するオープン会議を想定しています。ということでビールも用意しています。それでは乾杯！」 今回谷川氏と一緒に話を進めるのは、ISO SC32/WG3(Database Language SQL)日本代表であり、日本データベース学会 副会長の土田正士氏。データベースに携わり30年にもなる生き字引のような存在です。普段は日立製作所にお勤めで、SQL標準の策定のほかにデータベース製品の開発にも携わっています。2011年に学会活動がきっかけで博士号を取得されています。（参考記事：日立の「Dr.SQL」登場！－土田正士さん）。 第2回DBオフラインやります。 →「Dr.SQLに聞くSQLの歴史とこれから ― え、SQLはすでにNoSQLだったの!?（後編）」 土田正士さん（左）と谷川耕一さん
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
我々は何故RDBMSを使うのか
