mixi Engineers’ Blog » Tokyo Tyrantによる耐高負荷DBの構築
連休中はWiiのマリオカートをやりまくってやっとVR7000越えたmikioです。愛車はマッハ・バイクとインターセプターです。さて今回は、分散ハッシュデータベースサーバTokyo Tyrantでmixiの最終ログイン時刻を管理するようにした時の苦労話を書きます。 ログイン処理は負荷地獄 mixiでは、全てのユーザについて、各々の最終ログイン時刻を管理しています。「マイミクシィ一覧」や「お気に入り」などの画面で、友人が近い時間にログインしていてコミュニケーションがとりやすい状態にあるかどうか確認できるようにするためです。 mixiのほぼ全てのページはログインしないと見られないページなので、ほぼ全てのページにアクセスされるたびにログイン確認が行われます。したがって、最終ログイン時刻はほぼ全てのページにアクセスされる度に更新されることになります。mixiの中で最も重いデータベースのひとつとして「
【続】やはり Perl はメモリ喰いな言語。データ型の内部構造
以前、「やはり Perl はメモリ喰いな言語。データ型の内部構造」という記事を書いたことがあるのですが、自分で書いておきながらしばらく立つと完全忘却してました。時代は変わって、今仕事で運用しているサーバは、64bit 版のＯＳです。 最近になって、DB のテーブルのデータを加工・集計しながら CSV にダンプするってプログラムが、データ数が非常に多いときに、1.5 GByte ほどメモリを食いつぶしているってことに気がつきました。理由は至って簡単なのですが、結構ハマリどころなので備忘録として記事にしておくことにしました。 みなさん、仕事とかでは特にそうだと思うのですが、DBI の処理って何らかのラッパーを書いて使っていると思います。僕は適当に書くとよくやってしまいがちなのですが、イメージ的には、こんな処理の流れのコードを書いていました。 （・・・えっ？そんなへぼコード書いてない？？・・・す
mysql を高速化したいときに読むメモ (TechKnowledge)
給料の振込口座として三井住友銀行に口座を持っています。自動支払いサービスを使用して光熱費等の公共料金の支払いをしていますが、先日それらの内の一つを失念してたことに気づきました。口座を確認した時にはすでに引き落としが完了していたため、手元の資金が心細くなった状態で数日を過ごさなければなりません。三井住友銀行で即日キャッシングが可能であれば、是非利用したいのですが。 運が良ければ、三井住友銀行の即日キャッシングは可能 三井住友銀行の特徴はまずクレジットカード会社との連携したサービスが魅力的なことがあげられます。キャッシングでは銀行カードローンですから、何より安い金利が大きい利点になります。概ね銀行系の審査に必要な時間は長くなるようですが、三井住友銀行ではカード発行が当日に行なってくれます。 三井住友銀行は即日キャッシングができるかと言うと微妙なことになります。申込から審査結果の連絡までは、土日
【ハウツー】使ってみようH2 Database Engine - 最強の呼び声もあるすごいヤツ (1) 最強? H2 | エンタープライズ | マイコミジャーナル
組み込みデータベースといえばApache Derby、H2 Database Engine、HSQLDB、Berkeley DBなどが有名だが、このなかでも高いパフォーマンスで注目を集めているデータベースがH2 Database Engine(以降、H2)だ。先日Apache Derbyの最新版がリリースされたが、H2も最新版が公開された。 図.1 H2のサイト – トップページに掲載されているパフォーマンスグラフに自信がかいまみれる H2の組み込みデータベース最強という呼び声は、H2のサイトに公開されているパフォーマンスグラフの結果によるものだ。真偽のほどは各個評価して欲しいが、組み込みにおける実行性能に自信があるようすは伺える。
DB Designer 4 日本語版 - Devel::Bayside
うちの社内では標準ツールである DB Designer 4 が日本語化されたみたいです。 http://dbdesigner.iimp.jp/ DB Designer 4 というのはオープンソースのデータベースモデリングツールで、データベースのリバースエンジニアリングなんてことまでできてしまう超多機能で、使いやすいツールです。残念ながら英語版しかなく、そのせいで日本ではほとんど知名度がありません。この機会にぜひみなさんにも使ってもらいたいです。 元々 MySQL にフォーカスしているツールなので、データベースに MySQL を使っている方には特に便利です。うちの社内では、生成された XML をパースして PostgreSQL に使っています。 ちなみに以下のモジュールは、DB Designer 4 のファイルをパースして、SQL、コントローラ、テンプレートまで作ってくれます。 http:/
「コネクションプーリング都市伝説」はほんとに都市伝説?（その1) - 最速配信研究会(@yamaz)
「コネクションプーリング都市伝説」という単語がある.かいつまんでいうと 「コネクションプールって一般的に速いと言われているけど,クライアントが 多くなると接続維持のコストが大きくなるから今となっては速くないんじゃね?」 というものだ. WEB+DB PRESS vol.33でnipotanさんの中の人が書いてた記事が発端だと思われる. あとこんなエントリもあった. hori-uchi.com コネクションプーリング都市伝説は正しそう またちょっと古いねたですが、WEB+DB PRESS vol.33でnipotanさんが書いてたコネクションプーリング都市伝説を読んだ時、ほんとのところどっちが速いのかってのをabでベンチマークをとってみました。 (snip) これ以外にもいくつかパスを替えてベンチマークをとったところ、いずれも若干ですがプーリングしないほうが早かったので、現在はプーリングしな
2006/06/20 - memo - unknownplace.org
で、下記の PRAGMA synchronous = off だとか、MySQL の SET NAMES utf8 みたいなのを DBIC でやるばあいは $schema->storage->on_connect_do( ['SET NAMES utf8'] ); みたいにするわけだけど、これは今はschemaクラス自体には書いておけないのでめんどくさい。(0.699..のほうではできるようになっている) Catalyst でつかうだけなら、今の DBIC でも、Model::DBIC::Schema の connect_info で on_connect_do を書いておける。 connect_info => [ 'dbi:SQLite:dbname=foo.db', { on_connect_do => [ 'PRAGMA synchronous = OFF', ], } ], blb
sqlite: SQLite データベースと会話するプログラム
sqlite: SQLite データベースを管理するプログラム (This page was last modified on 2003/06/29 16:11:13 UTC) SQLite ライブラリには sqlite というシンプルなコマンドライン ユーティリティが含まれます。これを使うと、ユーザは手作業で SQLite データベースに接続して SQL コマンドを実行できます。この文書では sqlite の使い方に関する概略を紹介しています。 起動する sqlite を起動するには単に "sqlite" とタイプし、その後ろに SQLite データベースを保持するファイル名を付けます。ファイルが存在 しない場合は、自動的に新しく作られます。起動後 sqlite プログラムは、SQL をタイプするためのプロンプトを表示します。 SQL ステートメント（終了はセミコロン）をタイプし、 "E
Tags: Database schemas
An online tech community is the most exciting place for a software developer to spend their time. It not only offers the chance to work and interact remotely, but also helps in honing one’s own skills and becoming a well-rounded programmer. Whether you are a budding software developer or simply passionate about technology, here are the best online software development communities you can join. The
１人で稼ぐ日記 | MySQL：１台しかない環境でエセ負荷分散
MySQLのネタ。 １台しかない環境でエセ負荷分散を行う。 MySQLで負荷分散を考えたとき、 １台目にマスターのＤＢサーバー、 ２台目以降をスレーブのＤＢサーバーとして用いる。 マスターは更新系のみのＳＱＬ文を、 スレーブは参照系のみのＳＱＬ文を投げる。 こんな負荷分散を１台のサーバーで行う必要が出てきた。 現在１台でやっていて、ディスクＩＯが追いつかずに捜し求めた結果、下の形で落ち着いた。 １つのテーブルでインデックスを含めたサイズが 30MB〜100MBほどで安定している、という条件があるのですが かなり負荷下がります。 ※上記サイズは搭載メモリサイズによって変わります -------------------------- ■やりかた 負荷が高いテーブルをＡとする １：Ａと同じテーブル構成で、エンジンをMEMORY(he
楽々ERDレッスン 第1回：「お持ち帰りご注文用紙」編：CodeZine
はじめに システム構築においてデータベース設計は不可欠です。そこで多くの方がデータベースの設計技法について書籍で学んだりするのですが、なかなか身についたと感じられないことも多いのではないかと感じます。 その理由は、実務で任せられる機会というのが少ないからというのが大きなものとして挙げられます。データベース設計というのは、やはり重要な箇所ですから自然と経験のある人に任せられることが多いのが実態です。しかもデータベース設計を担当するのはプロジェクト全体の中でもごく少数だけになりますから、なかなかチャンスが巡ってきません。 しかし、それを嘆いているばかりではスキルが身につかないのも道理です。そこで身近にあるものを何でも手当たり次第にデータベース設計のネタにしてしまうことで、コツコツと地力をつけていこうというのがこのシリーズの主旨です。 合言葉は、「表組みを見たらERDを描け！」 。では、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DBDesigner4 Manual(日本語)
https://net-newbie.com/sqlite/lang.html
データベースライブラリ QDBM
http://oss.timedia.co.jp/index.fcgi/kahua-web/show/MySQL%C6%FC%CB%DC%B8%EC%A4%CE%CE%B9
MySQL の MERGE テーブルで巨大なテーブルを効率的に運用する
http://yamipro.ameblo.jp/entry-3872463068e49e3f9e00f7198926c6dd.html
リレーショナル・データベースの世界