シングルマスタ／マルチスレーブ構成に興味がない理由 - kazuhoのメモ置き場
システム全体で必要な書き込みパフォーマンスが、RDBMSノード１基の IOPS の W% の場合、シングルマスタ+スレーブn台構成のシステム全体のパフォーマンスは、 書き込みパフォーマンス: W 読み込みパフォーマンス: R=(1-w)*(n+1) になる。この n=R/(1-w)-1 って w が増加するとスレーブ増設のメリットが加速度的に失われていく点がイヤ。 例えば、システム全体で要求される書き込みパフォーマンスが W=0.3 で、読み込みパフォーマンスが 3 ならば、シングルマスタ／マルチスレーブ構成で必要なノード数は5台。マルチマスタ構成を採った場合でも理想値は4台なので、そう遜色があるわけではない。 しかし、仮に必要なパフォーマンスが２倍 (W=0.6, R=6) になると、必要ノード数はマルチマスタ構成での8台に対し、シングルマスタ／マルチスレーブ構成では16台と、一気にコス
YappoLogs: Data::Model っていう ORM みたいの CPAN にあげたよ
Data::Model っていう ORM みたいの CPAN にあげたよ あざーす。循環参照しすぎるとバターになる。。なんでそんなに人の目を気にするのだろうと、マジレス。 早速ですが Data::Model っていう O/Rマッパー 的な物を CPAN にあげました。 Data::Model http://github.com/yappo/p5-Data-Model/tree/master 元来は MVC モデルで言う所の Model を一括でまかなえるつもりで実装していますが、ロジック処理は普通の Perl のクラスで書いちゃった方が潰しが聞くため、主にストレージを Perl のオブジェクトにマッピングする ORM 的な使い方が主流となっています。 そして、 Data::Model の多くの実装や設計などは Data::ObjectDriver を参考にして開発しました。 他にも後述して
DBD::Mock を使ったテスト - 日向夏特殊応援部隊
DBD::Mock は DBI のドライバの一つで、DBI を使ったプログラムで意図的な状態を作る事が出来ます。 と言う訳でメモ程度に書いて行きます。 データベースハンドルの取得 use strict; use warnings; use Test::More; use DBI; plan tests => 3; my $dbh = DBI->connect('dbi:Mock:', '', '', +{ AutoCommit => 0, RaiseError => 1 }); ok($dbh, 'Create database handle'); isa_ok($dbh, 'DBI:db'); is($dbh->{Driver}->{Name}, 'Mock', 'Driver information'); で、普通に Database Handle が取れます。 SELECT してる箇
Twitterがスケールに苦しむ理由 - スケールするサイトのアーキテクチャ考
Twitterのスケール関係で、面白い記事を発見したのでまとめ。 一時期「スケールしない」とか「動作が不安定」だとか言われ続けていたTwitter。5月ごろにslashdot.jpでも話題になっていた。論調は総じて「Twitterがスケールしないのは、Rubyを使っているから」というもの。 ところが同じ５月、「Why Can't Twitter Scale? Blaine Cook Tries To Explain（なんでTwitterってスケールしないの？）」という、blog紹介記事がSilicon Alley Insiderに掲載される。記事の元になったblogエントリは、Twitterの前チーフアーキテクトだったBlaine Cook氏によるもの。Cook氏によれば、TwitterのスケールとRubyは何の関係もないという。 Why Can't Twitter Scale? Blai
DBサーバ向けLinuxチューニングを考える 〜 メモリオーバーコミット編 : DSAS開発者の部屋
Cでプログラムを書いていて大量のメモリを確保したくなったとき、大抵は mallocを使うと思いますが、その際には戻り値がNULLかどうかを判断してエラー処理に飛ばすと思います。しかし、Linux のメモリ管理サブシステムには「メモリ・オーバーコミット」という機構があり、実装されているメモリ以上の領域を確保できてしまいます。 #include <stdio.h> #include <stdlib.h> int main() { int i; char *p; for(i=0;i<65536;i++){ p = (char *)malloc(65536); if(0 == (long)p){ break; } } printf("SIZE=%dMB\n",i*65536/1024/1024); return(0); } swapoff したメモリ 1G のマシンでこれを実行するとこんな感じにな
DSAS開発者の部屋:5分でできる、MySQLのメモリ関係のチューニング！
MySQLのチューニングにおいて非常に重要となるメモリ(バッファ)関連のパラメータについて、 チューニングのポイント DSASのとあるDBサーバ(実メモリ4GB)の実際の設定値 をまとめてみます。 また、必要メモリの総量の計算や限界値を越えてないかチェックしてくれるスクリプトも紹介します。 是非、参考にしてみてください！ まず最初に注意点を。 バッファには2つのタイプがあります。 グローバルバッファ スレッドバッファ グローバルバッファはmysqld全体でそのバッファが1つだけ確保されるもので、 これに対し、 スレッドバッファはスレッド(コネクション)ごとに確保されるものです。 チューニングの際にはグローバル/スレッドの違いを意識するようにしましょう。 なぜなら、スレッドバッファに多くのメモリを割り当てると、コネクションが増えたとたんにアッという間にメモリ不足になってしまうからです。 in
Web2.0ナビ: SQL-DESIGNERがスゴイ
いいね！ 0 ツイート B! はてブ 447 Pocket 2 データベースの設計時にER図をかくことが多いと思いますが、SQL-designerというウェブベースのツールが非常に使いやすいく、デザイン的にも綺麗で便利。 MSproject等のデータベース設計を行う専用ソフトは非常に多くあるが、どれもインストールが必要だったり、設定ファイルが必要だったり、ソフトが重かったり、環境依存が激しかったりして、使いにくい。 使いかたは簡単で、 １．ウェブページにいって ２．テーブルやフィールドを追加する ３．プリントアウトorXMLエクスポート だけ。 データの型なども選択できて、設計が終わったら、SQL文をそのまま発行したり、作ったEQ図をXMLでエクスポートやインポートすることも可能。Javascriptベースなので、めんどくさいインストールや環境依存もなし。 ウェブ上でやるのは、セキュリティ
NTTデータが全文検索エンジン｢Ludia｣をオープンソースとして無償公開：ITpro
NTTデータは10月11日，同社が開発した全文検索エンジン｢Ludia｣をオープンソース・ソフトウエアとして無償公開した。オープンソースのDBMS PostgreSQLに格納されたテキスト・データの全文検索を行う。同社では「商用のデータベース管理ソフトに匹敵する速度と精度を備える」としている。 NTTデータでは「データベース内のデータの全文検索ではこれまで，オープンソース・ソフトウエアでは日本語に対応した高速・高精度なものが存在せず，データベースからデータを取り出し別のシステムを構築する必要があった。Ludiaは商用のデータベース管理ソフトに匹敵する速度と精度を備える」としている。 Ludiaは，N-gramと形態素解析の2種類の全文検索インデックス方式をサポートする。ブーリアン検索，近傍位置検索，類似文書検索といった検索が可能で，検索結果の合致度を示す｢スコア｣も提供する。 Ludiaは
SQL 例文: ある nakagami の日記
SQL文って、シンタックスに直交性がないので、いつまでたっても、例文を見ないと書けない。 悲しいことに、リファレンスのメタ記法を見ただけじゃ例文が想像できない。 というわけで、自分へのメモとして 例文へのリンクをまとめておこう。 とりあえずこれだけ知っとけSQL http://ash.jp/db/sql.htm Firebird の SQL文（おぼえがき） http://www005.upp.so-net.ne.jp/nakagami/Memo/FirebirdSQL.html GROUP BY句/HAVING句 で集計 http://www.atmarkit.co.jp/fnetwork/rensai/sql03/sql1.html 逆引きSQL比較（←これいい！困ったら最初にこれを見るべし） http://homepage1.nifty.com/kojama/works/rdbms/c
mysql:12071 階層化されたデータをMySQLで扱う
From: zen kishimoto <zen kishimoto <zen@xxxxxxxxxx>> Date: Sat, 03 Sep 2005 09:24:15 -0700 Subject: [mysql 12071] 階層化されたデータをMySQLで扱う （Managing Hierarchical Data in MySQL） http://dev.mysql.com/tech-resources/articles/hierarchical-data.html （図はこのサイトを参照のこと） Mike Hillyer著 初めに 多くのユーザーは一回くらいはSQLデータベース内で、階層化したデータを 扱ったことがあると思います。そのときはリレーショナル データベースは階層化したデータ用に開発されなかったと考えたと思います。 リレーショナルデータベースのテーブルは階層化されておらず
「アルファブロガー」を捜すには
ときどき何もできないことがある。 メールを読んで、Google+を眺め、twitterをチェックして、ニュースとかを読み、Google+にコメントをかいて、メールを読んで……みたいなのを繰り返し、一歩も進めなくなる。そんな時がある。 そんなこんなであるとき、なんか今日、メールとか読んでばっかりで全然仕事できてないんですよね、などと愚痴っぽく話したところ、それはもろに射撃しつつ前進だねと指摘された。そんな話だったっけ？とすっかり忘れた頭で読み直したら全くそのとおりの話だったのでおかしかった。忘れすぎだ自分。 射撃しつつ前進というのは優れたエッセイだと思うけれど、けっきょく何が言いたかったのかはよくわからない。最後のデータアクセスストラテジーがどうこういう話、ありゃ何なんだろ。正直、いまだによくわからない。今回これを書くために読み返してみたけれど、やっぱりよくわからない。 多分(私にとって)大
DB界に衝撃が走る！ Oracle 10g の無料版ベータが配布開始！
オープンソース系で人気の MySQL や SQL Server 2005 の無料版に対抗するために無料版を出すことにした。 その代わり、CPU は１つ。記憶容量は 4GB まで。メモリは 1GB まで。って制約をつけますよ。 みたいです。小規模な用件で導入して貰いたいという意向があるようで、商用でも特に使用することに問題がなさそうに読み取れます。今時、ハードディスクが 4GB なんてことはあり得ないので、ここでいう記憶容量 4GB 以内というのは、Oracle のデータファイルサイズが 4GB までに制限されているってところではないでしょうか？（推測） メモリは Oracle のプロセスそのものが結構消費するので実際 1GB はギリギリ、快適に動作するかなぁ〜ってのが正直なところ。 なんにしても、自宅サーバにも Oracle がインストールできるようになる時代が間もなく現実のものとなるって
＠IT：Database Watch 8月版 Page 1/2
Database Watch 8月版 Page 1/2 PostgreSQLとMySQLが急接近しているらしい 加山恵美 2005/8/11 あるWebサイトのアクセス解析データを表計算ソフトで分析していましたが、データの累積が6万5000件を超えたころ本格的なデータベースへ移行したくなりました。このように、当初は表計算ソフトで管理していてもデータ量や項目の増加によりRDBMSへ移行するケースは多いと思います。「これが切り替えどきか」と実感しました。 ■商用RDBMS、次期バージョンをめぐる競争が熱い“夏の陣” 今月は開発者にうれしいオラクルと運用管理者にうれしいマイクロソフトのニュースが対照的です。まずオラクルから。.NET環境のためのオラクルデータベース開発ツール「Oracle Developer Tools for Visual Studio .NET」が8月2日からOracle T
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Flash-Based DBMSの最前線
MySQL FULLTEXT Ngram : LIKE検索より数十倍高速な、お手軽 日本語全文検索 について｜blog｜たたみラボ
リレーショナル・データベースの世界
現場指向のレプリケーション詳説