「キー・バリュー型データストア」開発者が大集合した夜
「発表者が自分よりも若い人ばかりだ」。外見が20代にしか見えない東京工業大学の首藤一幸准教授（1973年生）の驚くさまが、少し面白かった。2009年2月20日の夜、多くのWeb企業が注目する「キー・バリュー型データストア」を開発する若手技術者が、東京・六本木のグリー本社に一堂に会した。 キー・バリュー型データストア（またはキー・バリュー型データベース）は、大量のユーザーとデータを抱え、データベースのパフォーマンス問題とコスト高に頭を悩ませるWeb企業が注目する技術である。記者は同日に開催された「Key-Value Store 勉強会」に参加させてもらった。午後7時から11時まで、キー・バリュー型データストアを開発・研究する若手技術者が立て続けに登場し、1人15分の持ち時間で成果を発表し、議論を重ねるという集まりだ。 呼びかけ人であるプリファードインフラストラクチャー（PFI）最高技術責任者
memcachedで快速アプリケーション － ＠IT
第4回 memcachedで快速アプリケーション 太田 哲也 株式会社Cuon 2008/2/25 Rubyを使った大規模エンタープライズ開発が始まっている。Ruby on Railsでの開発において、インフラやアプリケーションアーキテクチャをどのように構成すべきかを考える（編集部） CGM（Consumer Generated Media）サイトを構築する際、考慮するべき点を挙げだすときりがない。 スケールアウトの容易なインフラ設計（第1回「CGMサイト構築で悩む負荷対策と拡張性の確保」参照）、開発効率の高いフレームワークの選定、保守性の高いソースコードの製造など、さまざまな要素が複雑に絡み合っている。 しかし、これらはあくまでも開発側として立った場合の視点であり、実際に利用する人々にとってはまったく関係のないことで、（当然のことではあるが）利用する人々は「触っていて快適」なサービスを求
DBMによるテーブルデータベース その五 - mixi engineer blog
ついに発売されたスト4のコンシューマ機版をやりたくてしょうがないけど筐体を買ってもらえないので、駅前のゲーム屋のディスプレー前で垂涎するばかりのmikioです。今回は連載の最終回で、各種スクリプト言語を使ってお手軽にテーブルデータベースを操作する方法について説明します。 TokyoCabinet::TDB まずは、TCのPerlバインディングとRubyバインディングの最新版を入手してください。それぞれテーブルデータベースを扱うための TokyoCabinet::TDB というクラスが加わっています。以下のようなIDLによるガイドラインに準拠したインターフェイスが提供されますので、使い方は言語にかかわらず同じようになるはずです。 module TokyoCabinet { interface TDB { boolean open(in string path, in long omode);
Google App EngineとMemcache API - mixi engineer blog
こんにちは、某Perl界隈のIRCチャンネルでPythonがマイブーム的なKY誤爆をしてしまったtmaesakaです。 先日、以前から興味のあったGoogle App EngineとMemcache APIについて少し調べ、こちらに英文で報告したのですが、今日は日本語で要約したまとめを紹介します。 まず軽く前置きですがGoogle App Engine (GAE)とは、Googleが提供しているウェブアプリケーションをGoogleのインフラ上でスケーリングや冗長化など、ある程度のノウハウや資金を要求される面倒な事を気にせずに運営できるプラットフォームです。つまり、典型的なPaaSの例であり、サービスの運営コストをelastic（伸縮）にします。昨今バズワード化しつつあるクラウドコンピューティングの一種でもあります。 GAEのインフラはGoogleより提供されているAPIセットを用いて利用し
DBMによるデータベースサーバ - mixi engineer blog
DSのスターフォックスというゲームにはまりまくりのmikioです。最近社内外で「俺ストレージサーバ」を作るのが流行っているようなので私も参戦してみました。今回はDBMのネットワーク層をほぼスクラッチで作った話をします。 Tokyo Tyrant Tokyo Tyrant（以下TT）はTokyo Cabinet（以下TC）をラップしてネットワーク越しに操作できるようにするツールです。キャビネット（内閣）を傀儡にするタイラント（僭主）ということで名付けました。ダウンロードはこちら。 TCは高性能なDBMで、マルチスレッドモデルで高い並列性を実現していますが、逆にマルチプロセスモデルだとファイルロックがかかるので並列性が低くなってしまいます。つまり、書き込みモードでデータベースにアクセスしているプロセスがいると、その間は他のプロセスがデータベースに接続しようとするとブロックされることになります。
mixi Engineers’ Blog » Tokyo Tyrantによる耐高負荷DBの構築
連休中はWiiのマリオカートをやりまくってやっとVR7000越えたmikioです。愛車はマッハ・バイクとインターセプターです。さて今回は、分散ハッシュデータベースサーバTokyo Tyrantでmixiの最終ログイン時刻を管理するようにした時の苦労話を書きます。 ログイン処理は負荷地獄 mixiでは、全てのユーザについて、各々の最終ログイン時刻を管理しています。「マイミクシィ一覧」や「お気に入り」などの画面で、友人が近い時間にログインしていてコミュニケーションがとりやすい状態にあるかどうか確認できるようにするためです。 mixiのほぼ全てのページはログインしないと見られないページなので、ほぼ全てのページにアクセスされるたびにログイン確認が行われます。したがって、最終ログイン時刻はほぼ全てのページにアクセスされる度に更新されることになります。mixiの中で最も重いデータベースのひとつとして「
JGroupsのmemcached実装 - フェイルオーバやJMXもサポート
memcached(リンク)は分散メモリオブジェクトキャッシュのシステムで、動的なウェブアプリケーションでデータベースの負荷を軽減するのに利用される。memcachedはメモリにデータやオブジェクトをキャッシュしてデータベースの読み込み回数を減らすことでデータベースを多用するウェブサイトのスピードを向上させる。memcachedのベースとなるのはキーとそれに対応する値の組を格納したハッシュマップだ。memcachedのサービスデーモンはCで書かれているが、クライアントの言語はmemcachedプロトコル(リンク)でデーモンと通信できれば何でもいい。memcachedは冗長性を提供する（たとえばハッシュマップのコピーを保存するなど）ものではなく、サーバマシンSが停止したりクラッシュしたりすると、Sにあったキーおよび値は失われてしまう。 JBoss(リンク)のJGroups(リンク)・Clus
Weekend Web Weirdness
On Friday, we successfully deployed a new memcache project as part of our overall work to create a more scalable service. After the deploy, we needed to move a lot of data with minimum impact on service quality. To do this, we put together some code that moves data only as it is requested. This process kept a minimum on service disruption but did cause Twitter to have a complex conversation with t
サービス障害で真価問われるTwitter:コラム - CNET Japan
America Online（AOL）には1990年代中ごろ、あやうく大失敗しそうになった経験があるが、その当時は急成長を遂げていた。AOLのインフラは増え続ける新しい顧客の大群に対応することができず、まもなく頻繁に接続が切れるというやっかいな症状が出るようになった。 筆者はその当時、AOLのある上級幹部が、同社の上層部が一見して突然襲ってきた苦情の嵐やメディアでの否定的な報道に不意を突かれている様子について説明してくれたのを覚えている。それはまるで誰かがスイッチを入れたためにAOLが「最愛の人」から「愚か者」に転落したかのようだった。Steve Case氏と経営陣は最終的にはその問題に多額の金をつぎ込み、AOLはほんのかすり傷を負っただけで評判を取り戻した。しかし、それでも危機一髪だった。 Twitterの関係者は、サービスを完全に復旧させる方法を見つけ出した後で、この歴史の教訓を再度学
memcacheプロジェクト成功裏にデプロイ、Twitter安定化? | エンタープライズ | マイコミジャーナル
Twitterの動作が不安定になったりアクセスできなくなることはこれまでもあった。同社は安定性とスケーラビリティを向上させる目的でホスティングサービスをNTT Americaへ変更したりシステムを改善する取り組みを続けている。 Twitterは21日(米国時間)、よりスケーラビリティの高いサービスを作成するためのオーバーオールワークの一環として新しいmemcacheプロジェクトを成功裏にデプロイしたことを伝えている。デプロイ後にはサービスクオリティに対するインパクトを最小限に抑えつつ大量のデータを移行させる必要があるとし、要求に応じてデータを移行させるコードも一緒に追加したことも伝えている。 ただしこの結果として、いくらか正しくコミュニケーションが行われないことがあったとも報告されている。先週末から月曜にかけておかしな動きがあったとすればこの作業が原因だ。同報告のなかでは、このmemcac
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
