Making Snapshot Isolation Serializable 再考 - 急がば回れ、選ぶなら近道
Making Snapshot Isolation Serializable 再考 ■2013年的な位置付け まずちょうど年度の開始なので、今年は自分的にはRDBMS関連の位置付けとか整理しておきます。去年の後半あたりからの匂いですが、NoSQL的な発展と合わせて、本格的なDB回帰が始まっている感じです。NoSQL系のほぼ致命的な弱点の一つがtransaction処理であることは指摘も多いところです。要するにデータが書き込めても不整合が発生しますね、ということになってしまいます。これではなかなか使えない、というのが現状でしょう。 なので、RDBMの最良のノウハウであるtransaction処理とNoSQL的な分散処理をちゃんと整合性とれるようにしましょう、という自然な流れは従前よりもより強い要請が働くでしょう。(できるかどうかは別ですが。) それで、そろそろなんかその手のものがRDBMSサ
佐藤正美(@satou_masami) - Twilog (ツイログ)
情報システム・コンサルタント（事業解析、データベース設計）。[ 趣味 ] クラシック音楽鑑賞、歌謡曲（1960年代・1970年代）、読書（文学、哲学、数学）、登山とトレッキング。「日本科学哲学会」会員。 2023年06月30日(金)15 tweets 6月30日 佐藤正美@satou_masami 「同じて乱をなすより他に行く道がない」と思っていた「文学青年」が ついには そういう道を選んで辿った、という次第です。自分の精神（知・情・意）は自分で制御するしかない。自分で自分を整えるしかない。 posted at 17:54:18 6月30日 佐藤正美@satou_masami 勿論、今は そう思っていない──モデル論の学習研究は、それはそれで私に創造の苦しみ・悦びを与えてくれて、私の生活のほとんど（40才から今 [ 70才 ] に至るまで）を費やしてきました。 posted at 17:5
はじめての MySQL で100万件のデータを管理する時に行ったチューニングまとめ
MySQL の勉強をせずにフレームワーク等で SQL を書かずに Web サイトを構築していました。データ数も2万件程度でしたので、そこまで困ることはありませんでしたが、今回100万弱の商品データを扱う機会ができたので、MySQL のチューニングや発行する SQL について見直す機会がありました。 この記事では MySQL を高速化するのに行った対策など勉強したものを自分用にメモしておきました。 条件式で比較するカラムにインデックスを使用して高速化 商品コードで存在しない商品を見つけて、商品をDBに登録するという処理を行っている場合、4万件超えたころから処理に2秒以上かかるようになってきます。12万件超えた頃には10秒程度かかるようになってしまいましたが、商品コードのフィールドに対してカラムインデックスを貼ることで0.2秒に短縮することができました。 MySQL のリファレンスにも以下のよ
データベース全般
「データベース(Database)」自体については、各種雑誌の「データベース特集」などを読んだほうが わかりやすいような気がします。なるべく絵が多くて、自分がすでに知っているものから近い説明が あるもの。たとえば、木村の手元にある雑誌類をざっとみても、以下のような特集があります。 必ずわかる図解データベース入門(月刊DBマガジン2007/05号) 2ページ×15テーマでわかる図解データベースのお仕事大百科(月刊DBマガジン2005/05号) データベースを基本から理解する(日経ソフトウエア2004/11号) Web版がこちらから参照できます。 SEのバイブルネットワークデータベース、UNIXシステム管理(ネクストエンジニア2003/04号付録) データベース活用技術の徹底研究(インターフェース2002/10号) これでナットク！基礎から学ぶデータベース(日経ソフトウエア1999/04号)
HBaseとはどんなNoSQLデータベースなのか？ 日本語で読める情報を集めてみた
Facebookが新しいサービス「Messages」の基盤として、NoSQLデータベースの「HBase」を選択したことを、先日の記事「Facebookが新サービスの基盤にしたのは、MySQLでもCassandraでもなく、HBaseだった」で紹介しました。 HBaseは、Facebookによると次のような特徴を備えていると説明されてます。 負荷に対して非常に高いスケーラビリティと性能を発揮 CassandraよりもシンプルなConsistency Model（一貫性モデル）を備えている 自動ロードバランス、フェイルオーバー、圧縮機能 サーバーごとに数十個のシャードを割り当て可能、などなど このHBaseはどのようなデータベースなのでしょうか？ 情報を集めてみました。 HBase入門のプレゼンテーション 最初に紹介するのは「HBaseエバンジェリスト」Tatsuya Kawano氏のプレゼン
データベース設計で派生関係は難しい - プログラマの思索
@t_wadaさんが、データベース設計の素晴らしい資料をリンクしていたのでメモ。 下記の資料は、MySQLでソーシャルゲームのDB設計のお話らしいが、データモデリングの設計ノウハウが秀逸。 気になった点をメモしておく。 理解できたことをラフなメモ書き。 【元ネタ】 Twitter / Takuto Wada: 素晴らしい資料。"「スキーマ」「トランザクション」「インデックス」はもっと評価されるべき" / ソーシャルゲームのためのデータベース設計 http://htn.to/PzrnbR 【1】可用性や整合性に関する要求が意外と多い たとえ、SNSやゲームであろうが、課金体系になるとお金が絡むため、ユーザの要求のレベルも上がるし、事業者の責任も大きくなる。 データモデリングはアーキテクチャ設計につながる。 【2】派生関係 データベース設計(DOA)でも、派生関係(継承関係）はオブジェクト指向
SQLの未来 - ミックのブログ
先週の土曜にビズアイユさん、坂井さんともに、慶應大学日吉キャンパスへ出かけてきました。目的は、遠山元道準教授の研究室へお邪魔してSuperSQL という新言語のお話を聞くこと。6時間超にわたって遠山先生自らプレゼンとQA までしていただくという非常に贅沢な時間でした。 SuperSQL は、名前から連想するような SQL の拡張言語ではありません。これは遠山先生も強調していたのですが、私の理解した範囲で表現すると、これは HTML、LATEX、Ajax など「表示」をつかさどるプレゼンテーション・レイヤーと SQL というミドル・レイヤーをラップする言語です。 もともと、歴史的には SQL はプレゼンテーションを意識しない言語として開発されました。その目的はあくまで欲しいデータを検索することであって、見せ方は上位レイヤーの仕事なので自分は関知しない、という分業の方針に基づいています。これは
第3回 テーブル設計のグレーゾーン～毒と薬は紙一重 （4）サロゲートキーVSナチュラルキー | gihyo.jp
サロゲートキーVSナチュラルキー DBエンジニアの方なら、サロゲートキー（代理キー）という言葉をご存じでしょう。これは、テーブルへの入力データにある列を主キーとせずに、システム側で独自に割り当てるキーのことです（一般的には連番が使われます）。これに対して、入力データ自体の列を主キーにする場合はナチュラルキー（自然キー）と呼びます。 サロゲートキーは、基本的には不要なものです。入力データに一意なキーが存在していればそれを主キーとして使うことで、普通は問題ありませんし、オートナンバリングの機能も長らく標準SQLには存在していなかったからです（そのため、今でも実装ごとにやり方はバラバラです）。しかし、以下のような業務要件の場合には、サロゲートキーを使うことを考えます。 ① そもそも入力データに主キーにできる項目がなく、データが重複している場合 ② 主キーの値が使いまわされる場合 ③ 主キ
サロゲートキーをつけなかったせいで死にそうになった。 : ::yossy.blog::
Posted on 10月 3, 2006 Filed Under Database | DB設計の経験の少ないあたくしが設計したシステムに仕様変更が入ったんですが 複合PKテンコ盛りだったせいで改修を引き継いでいる人が死にそうになっていました。 心から本当にごめんなさい。 力不足でした。 ごめんなさい。 気分的には恋愛経験の少ないあたくしが一生懸命告ったのにフられた感じですわね。 まったく空気が読めてない。むしろ、告ってないのにフられたくらいな勢いだね。 道端で配っているティッシュをもらおいとしたら避けられた感じだね。電車男みたいに。 だってもともとDB設計なんてよくわならなかったんだもん ・・・って、言い訳にしかなんないな。 で、今日そんなことがあったものだからPKってどうするのが一番いいんだろうって思ったのね。 2chのデータベースのスレを見てると「サロゲートキ
A.R.N [日記] - ID付与は設計技法ではなく実装技法
なのではないかと主張してみるテスト。 ここではぶ先生に否定されてしまうと、私は第三勢力アクシズとして動かなければならんのですが、男のハマーンはいやですか（←いやです） 論拠は二つ。 どのようなモデルでも誘導的にID方式に変更できる はぶ先生がidとはROWIDのことだ、と言っているように単にRDBMS上にオブジェクトモデルと相似の構造（ポインタによるリレーション）を作るだけなんだから、当たり前の話ではある。複合主キー派の方は、全部サロゲートキーにするなんて！ という反応を見せるわけだけど、ID派の言うIDとサロゲートキーは似て非なるものなのだと思う。旧来の主キーの役割はユニークキーが担うだけの話なわけだし。T-ERで論理モデルを作成した後に、IDを主キーにして作って、参照先をIDにするようにモデルを修正するだけでT-ER的に正しくなおかつID方式のモデルが出来上がる。モデリング技法によらな
![A.R.N [日記] - ID付与は設計技法ではなく実装技法](https://cdn-ak-scissors.b.st-hatena.com/image/square/06a15c64ba0ceec233d86d71001ebb29a9dcbf5d/height=288;version=1;width=512/https%3A%2F%2Fcdn.blog.st-hatena.com%2Fimages%2Ftheme%2Fog-image-1500.png)
NoSQLの成功は1:10問題にかかっている:Kenn's Clairvoyance
ここ2-3年ほど、いわゆる非SQL系データベースがホットな話題になってきています。このムーブメントを総称して「NoSQL (Not-only SQL)」と呼ばれることが多いようです。まるでSQLを否定しているかのような誤解を招きやすい用語ですが、かといってキー・バリュー型データストアや列指向DBを総称できる他の呼び方もないので、このエントリではNoSQLという用語を使うことにします。 OracleやMySQLなどのSQLデータベースが成熟していく一方で、SQLデータベースを特徴づける弱点である柔軟性のなさ、堅牢さと引き換えに犠牲になった更新性能の低さ、スケールアウトの難しさなどから、「何でもかんでもRDB」から「目的に応じた永続化」が模索される流れになってきました。 時を同じくして、キャッシュサーバの世界でも、MemcachedのもつシンプルなAPIの使いやすさが評価される一方、LRUによ
さくらVPSを借りてから参考にしたサイト « tech*
ツイート私：仕事はシステムエンジニアをしていますが、サーバー構築、phpなどは初心者、ドメインの取得などもってのほか。という立場です。 当時評判だったさくらインターネットのVPSを使い、CentOS + Apache + Tomcat + MySQL + Java という環境で自分用のWEBサービスを作ったときに参照したサイトを備忘録をかねてまとめたいと思います。 さくらのVPSを使いはじめる – アカベコマイリ SSH,Apache,Ruby,MySQL,Subversionなどについて。 おそらくここさえ読めば大体のことはできます。 CentOSをサーバーとして活用するための基本的な設定 – さくらインターネット創業日記 さくらインターネットの田中社長のブログ。 パフォーマンスについての設定を参考にしました。 CentOSで自宅サーバー構築 – CentOSで自宅サーバー構築 もう説明
翔泳社からDB2の電子書籍が4冊同時に無料配布開始！ | Unofficial DB2 BLOG
DBマガジンのDB2連載の最終回で予告されていたとおり、DB2関連書籍がPDF形式で配布されています！ 驚くことに計4冊同時に配布開始で、しかも無料です！（ID登録と、ユーザ情報登録が必要です） - IBMのDB2関連の電子書籍が、翔泳社のWebで公開されました EnterpriseZine (EZ) 4冊のラインアップは以下の通りです。4冊ともPDF形式で、そのうち一冊はePUB形式も用意されています。 おそらくこの本が今回の目玉でしょうね。￥2,310で発売されている紙の書籍と同じ内容が無料になっています。DB2の内部構造とV9.7の新機能についてコンパクトにまとめた書籍です。書籍発売当時のレビューがここにありますので、参考になさってください。 DB2とOracleのアーキテクチャを比較した本です。DB2ではこういう用語や概念のものは、Oracleだとこういう用語や概念になっているとい
クラウドでの新しいACID、そしてBASEトランザクションとCAP定理 - Fight the Future
クラウドではアーキテクチャやプログラミングモデルが今までと変わる。 QConでは複数の人からそういう話が出ていた。 ちょっと自分なりにまとめてみる。間違っているかもしれないので、見つけた人はご指摘ください。 新しいACID 従来のモデルでのACIDは、特にRDBMS関連でよく耳にすると思う。 Atomic(原子性) Consistent(一貫性) Isolated(独立性) Durable(永続性) だ。 QConでGoogleのGregor Hohpe氏は、クラウドにおいてACIDは次のような意味になると言っていた。 資料はここ。https://sites.google.com/site/gcodejp/slides/ProgrammingCloud_QCon.pdf?attredirects=0 Associative(結合の) Commutative(相互の) Idempotent(
信じられないDB文化「Join禁止」に「固定長DB」、、でも、合うんです。大規模コンシューマ向けサービスのRDB設計 - レベルエンター山本大のブログ
僕らが最近手がけているのは、とても大規模なコンシューマ向けサービスだ。 100万人の契約ユーザが使い、1テーブルに1億レコード以上のデータを貯め、24時間止めることが許されず、 要求から応答までのターンアラウンドタイムが1秒以内という厳しいSLAのサービスである。 中でも僕はRDBやフレームワークを担当している。 僕がこの現場に来て、驚愕した文化が2つある それは「Join禁止」と「固定長DB」だ。 ありえない。 とはいえ、正直に言えば「またか、、、」という感想でもある。 RDBを知らないレガシーな人たちが設計したDBではよくありがちな設計だからだ。 と僕は早々にこの文化と戦って、絶対に覆してやろうと考えてた。 過去の経験上それはたやすいハズだった。 しかし、この文化と戦うこと3ヶ月間。 屈した。初めて屈した。いや、屈したというよりは理解した。 大規模コンシューマ向けサービスのRDBという
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IDEA * IDEA
「SQL 99 Complete, Really」が無償公開されました。 | キムラデービーブログ
doaplus.com
ソーシャルゲームのためのデータベース設計
サービス終了のお知らせ