「NoSQLデータベースファーストガイド」を執筆しました - (ﾟ∀ﾟ)o彡 sasata299's blog
2011年04月28日19:00 NoSQL 執筆 「NoSQLデータベースファーストガイド」を執筆しました 最近あまりブログを書けていなかったわけですが、実は初めて本の執筆をしていました。こちらです！でで〜ん！！(＊ﾟ∀ﾟ)っ NoSQLデータベースファーストガイド NoSQLデータベースについて書かれた 国内初 の入門書です！（多分） 最近では NoSQL というキーワードがバズワードになりつつあり、「いったい NoSQL って何だろう？」とか「リレーショナルデータベースとどう違うの？」と疑問に思われている方も多いのではないかと思います。が、勉強しようにも最初の一歩を踏み出すのってなかなか大変ですよね。何かいっぱい種類があるし。そこで、本書をきっかけとしていただけたら、、＞＜ NoSQLデータベースは細かいチューニングを行い「リレーショナルデータベースでは扱えないような大規模な処理を扱
Facebookのサーバーもすごいことになっている件（直近10ヶ月で20,000台のサーバーを追加。ログは毎日25TB。） - shibataismの日記
Googleに比べるととっても地味なPRしかしていないが、実はFacebookのエンジニアリングも結構すごい。CTOのJeff RothschildがUCSDで講演したビデオが見れるので今日がある方は是非見た方が良いと思います。 ビデオ http://cns.ucsd.edu/lecturearchive09.shtml#Roth http://video-jsoe.ucsd.edu/asx/JeffRothschildFacebook.asx 解説記事 http://www.datacenterknowledge.com/archives/2009/10/13/facebook-now-has-30000-servers/ ビデオを見たのが昨日なので、全部覚えていませんが、覚えていることだけでメモを書いておきます。全般的に、非常に素直な講演で、自分たちの良いところも悪いところも素直に言っ
なぜTwitterは低遅延のままスケールできたのか 秒間120万つぶやきを処理、Twitterシステムの“今” − ＠IT
ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセージ数は秒間120万にも達し、ユーザー同士のつながりを表すソーシャル・グラフですらメモリに載る量を超えている。途方もないスケールのデータをつないでいるにも関わらず、0.1秒以下でWebページの表示を完了させなければならない。そのために各データストレージは1～5ms程度で応答しなければならない。 Twitterのリスト機能の実装でプロジェクトリーダーを務めたこともあるNick Kallen氏が来日し、2010年4月19日から2日間の予定で開催中の「QCon Tokyo 2010」で基調講演を行った。「Data Architecture
sdyuki-devel
イベント駆動型のプログラムでは、エラー処理の記述が面倒になることがある。これを何とかしたい。 例えば、keyからidを引き、idからdata引くプログラムを書きたいとする。 手続き型で書くと以下のようになる： def doit(key) id = get_id(key) data = get_data(id) return data end ここで、get_id と get_data は長くブロックするので、イベント駆動型にしたいとする。 そうするとプログラムの正常系の処理は↓このようになる。 def doit(key, &callback) get_id(key) {|id| get_data(id) {|data| callback.call(data) } } # futureを返すのは良いアイディア end ここまでが前提条件。 このプログラムのエラー処理を愚直に書くと、↓このよう
実録、ほぼ無停止なMySQLのフェイルオーバ (動画もあるよ) - （ひ）メモ
レプリケーションしてるMySQLで、マスタやスレーブが障害停止した場合のリカバリプラン でも掲げたゴールである、「マスタが落ちてもぐーすか寝ていられるようにしたい」がほぼできたので、ほとんどサービスが停止することなく、フェイルオーバする様をスクリーンキャストに収めました。 埋め込みプレイヤーだと、小さくてわからないと思うので、リンク直接でみてください。 http://www.irori.org/pub/mysql-mm.mov 登場するホスト 登場するホストは2台、db901とdb902です。 最初は、db901が更新系クエリを受けるプライマリでdb900の浮動IPアドレスを持っています。 画面分割 画面は5分割しています。 左上 = 「select sysdate(),@@server_id」をdb900に対して(sleep 1しながら)延々と実行しまくりんぐ 右上 = ping -n
ふぁぼったーの負荷分散の計画をあれこれ考えてみた。 - 2009-11-01 - 小野マトペの業務日誌(アニメ制作してない篇)
今日一日調べたこととかまとめてみる。 問題点 次回リリースの新機能はDB select負荷がかなり掛かるはずである。 現状でもデータLOADによる負荷が10に達し、selectにスロークエリ、接続エラーが出ている。DBの負荷分散が急務である。 参考: Load Average 参考: Slow Query あと、STATUSテーブルが2GBに達しようとしているので、デフォルトのサイズ制限4GBが見えてきた。再定義できるけど。 垂直分割対応案 日本語版DBと英語版DBのデータベースとクローラを別ホストに格納する 現状、favotterとfavotter_enはほぼ同規模のDBとなっている。 ただし、参照は圧倒的にfavotterが多い。 favotter_enのクローラを止めたら、スロークエリが激減した事がある。 参考: 小野マトペ on Twitter: "まる一日英語版のクローラ止めてた
楽天経済圏を支える「楽天スーパーDB」－Teradataユーザー事例
ワシントンDCで開催中のTeradata Partners 2009にて、楽天株式会社がユーザーセッションを実施。同社のさまざまなサービスでマーケティングの軸となる「楽天スーパーDB」について紹介した。 楽天はECを筆頭に、Card/Bank/Security/Communication/Travel/Portalなどさまざまなサービスをオンラインで提供している。それらは循環型の経済システム「楽天経済圏」を形作り、ユーザーが各サービスをまたがって利用できるように相互連携が図られている。 そしてユーザーにより良いサービスを提供するために、Teradata製品によって、ユーザー動向などのデータを集約した楽天スーパーDBを構築。BIツールなどで分析を行うことで、徹底したユーザープロファイリングを実施しているのだ。 「サービスを効率よく提供するためには、およそ7000万人の会員属性や行動情報を集約
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://orf.sfc.keio.ac.jp/project/project.php?id=D3
IBM Developer
京大グローバルCOE 霊長類ゲノムDB