2007-11-30
ちょっと調べてみた。次世代のデータベーステクノロジのコアになるだろうと原氏が「富国論」の中で指摘しているインデックスファブリックは、VLDBカンファレンスで2001年に発表されたというので検索したら、この論文がすぐに見つかった。 この中で説明されているのがどういうものかというと、従来のようにリレーショナルデータベースで明確に構造を定義してデータを放り込むのではなく、構造なんか定義しないで、構造もデータと一緒に文字列で格納してしまおう、というもの。言ってみれば、構造、データ、インデックスが渾然一体となっているので、構造は柔軟に変わっていけるし、その上超高速アクセスが可能ですというのだ。さらにこの発想がすごいのは、特定のデータベーステクノロジを前提にしていないので、フラットファイルやリレーショナル、オブジェクト、XMLデータベースなんでもござれというのだ。 こんなことを可能にしちゃうのが、この
tokuhirom blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
DWHではouter join上等 - 極北データモデリング
今メンテしているDWHでは、トランザクションデータに対してマスタを結合するときに、やたらとleft outer joinが使われている。 outer joinしているということは、結合できるマスタデータがないことを想定しているわけで、そもそもそんなことがあり得ないようにシステムを作らないとまずいんじゃないの、というのが第一印象。 が、DWHのデータは夜中に複数の外部システムから流し込まれたものなので、DWH自身はそれらの整合性を保証することができない。 なので、マスタデータに欠落があったときに、ひっそりとトランザクションの件数が減ってしまうinner joinよりも、データに不整合があっても合計値が維持されるouter joinの方がベターなのだ。 メンテしてみてわかったのだが、DWHというのは集計値の検証が一番大変だ。 結合の失敗でトランザクションがひっそりと欠落したりすると、どの段階で
Sybase IQが速い仕組み - 極北データモデリング
サイベースの情報系専用RDBMS・Sybase IQのデモを見てきた。 ノートPCにインストールしたSybase IQが、1億件ｘ数万件ｘ数万件ｘ数万件の結合と集計を5秒でこなしていた。 同社の汎用DB（Sybase ASE）は同等の処理に80秒かかっていた。 一般的なRDBがレコードをページに格納するのに対して、Sybase IQはカラムをページに格納する。 データをヨコ切りしないで、タテ切りしてディスクに書くわけだ。するとクエリに関係のない不要なカラムまで読み出して捨てる手間が省ける。これが速い理由の一つ。 ホワイトペーパーを引用すると 以下のような条件を想定してみます。 テーブルは1ローあたり800バイト、1000万ローからなる 性別・州・保険の加入状況のカラムがある 「カリフォルニア州で保険に加入していない男性」を検索する 汎用なRDBMSの場合、ロー単位のアクセスですから、800
関連項目の多いテーブルはSQL文で処理して欲しい
Ognacの雑感 木漏れ日々 目次 ホーム 連絡をする RSS Login Blog 利用状況 投稿数 - 1487 記事 - 0 コメント - 45674 トラックバック - 143 書庫 2014年5月 (6) 2014年4月 (13) 2014年3月 (14) 2014年2月 (12) 2014年1月 (12) 2013年12月 (13) 2013年11月 (13) 2013年10月 (11) 2013年9月 (13) 2013年8月 (14) 2013年7月 (13) 2013年6月 (14) 2013年5月 (15) 2013年4月 (13) 2013年3月 (14) 2013年2月 (13) 2013年1月 (15) 2012年12月 (14) 2012年11月 (14) 2012年10月 (15) 2012年9月 (14) 2012年8月 (13) 2012年7月 (13)
dfltweb1.onamae.com – このドメインはお名前.comで取得されています。
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)（「ICANNがレジストラとして認定した企業」一覧（InterNIC提供）内に「Japan」の記載があるもの）を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2023年10月時点の調査。
自律型トランザクション - オラクル・Oracleをマスターするための基本と仕組み
自律型トランザクション (Autonomous Transactions) 自律型トランザクションプラグマ (PRAGMA AUTONOMOUS_TRANSACTION) は、メイントランザクション（以降 MT）とは独立した 自律トランザクション（以降 AT) を宣言するためのものである。 注意：自立型トランザクションという表記は正しくない。 自律型トランザクションのメリット SLECT で呼び出す関数の内部で DML を実行することが可能 通常 SELECT で呼び出す関数に DML が含まれると ORA-14551: 問合せの中でDML操作を実行することはできません。 とエラーが発生するが、この関数を自律型トランザクション宣言すると SELECT 内でテーブルデータを更新することができる。 MT 処理の中にエラー処理のログや監査のログを永続テーブルに書き込むことなどが可能 ２つのトラン
おれおれサブセット実装 - 極北データモデリング
サブセットを実装するとできなくなってしまうことに unique制約 外部キー制約 がある。 例えば、社員マスタを正社員とパート社員というサブセットに分割したとして、 正社員(R) = { 社員ID, 社員コード, 名前, ... } パート社員(R) = { 社員ID, 社員コード, 名前, ... } 社員コードは全社員を通じてユニークである必要があったら、それをチェックするのが面倒になる。 サブセットの社員コードにそれぞれ unique 制約をつけても、「社員全体で一意」かどうかのチェックにならないから。 また、社員の扶養家族マスタというのがあったとして、 社員の扶養家族(MO) = { 社員ID, 続柄コード, 扶養家族名 } このテーブルの社員IDには外部キー制約をつけることができない。 認知番号しかない「サブセット」を作ったらどうか 上記の問題を回避するために、スーパーセットはそ
極北データモデリング■[RDB]タグ
削除フラグ(というか「論理削除を削除フラグだけで実装すること」)批判は何度も見てきたが PostgreSQLアンチパターン これ見るともはや論理削除自体が闇扱いになってしまったようだ。 闇だろうと何だろうと論理削除(というドリルが提供する穴)は要件の実装に必要なので、このへんの議論はあまりまじめに追ってこなかった。 いつだったか「削除フラグはバグの温床だからやめろ」という主張を読んでおぉなるほどと思い、ではどうやって論理削除を実装するのかなと思って続きを読むと「『ほんとに削除したデータが必要ですか?』とユーザに確認して、物理削除に変えさせてもらう」と書いてあってズコーとなったことがあるが、要件削っていいなら実装上のどんな問題も消えるわけで、何かもう別世界の議論で自分の仕事には関係ないと思っていた。 が、これだけ繰り返し批判されているからには、論理削除を正しく使う方法なり条件なりを明らかに
「売上伝票の取消をやめた」の実装
Ognacの雑感 木漏れ日々 目次 ホーム 連絡をする RSS Login Blog 利用状況 投稿数 - 1487 記事 - 0 コメント - 45676 トラックバック - 143 書庫 2014年5月 (6) 2014年4月 (13) 2014年3月 (14) 2014年2月 (12) 2014年1月 (12) 2013年12月 (13) 2013年11月 (13) 2013年10月 (11) 2013年9月 (13) 2013年8月 (14) 2013年7月 (13) 2013年6月 (14) 2013年5月 (15) 2013年4月 (13) 2013年3月 (14) 2013年2月 (13) 2013年1月 (15) 2012年12月 (14) 2012年11月 (14) 2012年10月 (15) 2012年9月 (14) 2012年8月 (13) 2012年7月 (13)
Twitterのトラブルから見る、DB分割でスケーラブルなRailsサイト構築:TKMR.blog.show
最近、2.0な方々の間でTwitterが話題になってる。で、そのTwitter自体も面白いんだけど、TwitterについてDHHがブログを書いてRailsでの大規模サイト構築が話題になってるのが面白い。 Twitter trouble (Loud Thinking - DHH) まずTwitterの高負荷について言及、Twitterは11,000リクエスト/秒 の高負荷で問題となっているらしい。 そしてスケーラビリティの鍵はDB分割だ、と言っている。Railsは基本一つのDBを見るのでスケーラビリティの問題になる （確かにWebサーバはロードバランサがあればいくらでもスケールするしね、Sessionの共有だけ気を付ければ） ↓ Dr Nic » Magic Multi-Connections: A “facility in Rails to talk to more than o
「PostgreSQLは遅い」は本当か？：OSSデータベース比較 - CNET Japan
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます LAMPやLAPPといった言葉が示しているように、オープンソースソフトウェア（OSS）での代表的なリレーショナルデータベース管理システム（RDBMS）といえば、「MySQL」と「PostgreSQL」だ。この2つのRDBMSは同等であるかのように思われているが、しかしPostgreSQLのユーザー団体「日本PostgreSQLユーザ会」で理事長を務める片岡裕生氏によれば、「PostgreSQLはあまり信用されていない」ということがあるそうだ。 「十分にチューニングされたMySQLとチューニングしていないPostgreSQLを比較したり、反対にチューニングされたPostgreSQLとチューニングしていないMySQLを比較したり、あるいは比
2chに学ぶCGMとDBMSとの相性(データのローカリティはとても重要) - 最速配信研究会(@yamaz)
もう一ヶ月以上前の記事だけど,ニコニコ動画が1000万コメントを達成したというニュースがあった. 「24日で1千万コメント突破！ 「ニコニコ動画」が好調」 ドワンゴグループの1社で、メールポータルなどの事業を企画運営しているニワンゴは8日、同社がサービスを提供している「ニコニコ動画」（ベータバージョン）に投稿されたコメント数が、 オープンから24日で1,000万件を突破したことを発表した。また、1日のページビュー数が2,000万を突破していることもあわせて発表した。 http://www.rbbtoday.com/news/20070208/38344.html ニコニコ動画のすごいところは動画キャプション部は システム的に掲示板とほとんど同じで,おそらくその場に リアルでいる人の数はせいぜい数十人とかなのに,さも数100人 とかがその場にいるような臨場感を与えているところだと思う. モバ
メタとは何か？ 自己言及の世界の危険と不思議そして語ることの重要性 - 哲学するIT ITする哲学 [ITmedia オルタナティブ・ブログ]
前回、『私は、XMLの"M"は、Markup (Language)の略でなく、Meta（Language）の"M" であるべきだと思っている。』と書いた。そこで、『メタ』についてもう少し、考えてみることにする。 ＜メタとは何か＞ メタ（meta）は、古代ギリシャ語のmetaに由来する接頭語であり、以下のような複数の意味を持ち、かつ複数の意味を結び合わせたものになっている。 （１） 後ろの、背後の（after, later, behind） （２）～を超えた、高次の、包括的な（beyond, higher, transcending） （３） ～ついて〔記述する〕（about, descriptive） （４） 変化（change, transformation） （５） 〔化学において使われて〕メタ… ←"～の間（between）" いくつかの接頭語メタ（meta）のつく言葉をあげて、上記
![メタとは何か？ 自己言及の世界の危険と不思議そして語ることの重要性 - 哲学するIT ITする哲学 [ITmedia オルタナティブ・ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/4e1d2cb9353ab49cda008e89be8bc704459e0e5a/height=288;version=1;width=512/https%3A%2F%2Fblogs.itmedia.co.jp%2Fmt-static%2Fsupport%2Fassets_c%2Fuserpics%2Fuserpic-356-100x100.png)
極北データモデリング - ABD (Activity Based Modeling) の体系を想像する(1)
羽生章洋氏のABD (Activity Based Modeling) とはいったい何か、唯一のまとまった資料 http://event.seasar.org/sc2006spring/viewAttachment.do?_pageName_=Materials%2FD4.ppt からその全体像を復元するシリーズ。 もちろんご本人に伺えばいいんだけど、まずは自習から。 初回はざっと読んで分かった気になったことをメモする。全部俺理解だから正確な情報は原典を見てね。 今回は「ABDすると何が良くなるのか」という最重要な話題は避ける。それはABDで設計したデータベースに触ってから書く。 ABDで設計したら、データ構造はどうなる ABDでは、外部キーを、resourceだけでなくeventからも追放する。 つまり 売上ヘッダには顧客IDがない。 売上明細には商品IDがない。それどころか売上ヘッダI
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQLで木と階層構造のデータを扱う――入れ子集合モデル
衝撃! informixでも件数制限出来た - つれづれネット散歩
シーケンス/デフォルト値/トリガーの利用 — Teppi Technology
エンタープライズ：知っておきたいデータベース移行術「Oracle→DB2編」 (2/7)
http://www.akimoto-jp.com/java/Database/jdbcDebug.html