大規模SNSのボトルネックとソリューション
SNSは比較的データアクセスが多いアプリケーションであり、負荷対策が難しい部類に入る。本稿では、グリーCTOの藤本真樹氏が、GREEというSNSでの経験を基に、SNSの具体的な負荷軽減ソリューションを紹介する。 はじめに 昨今では、地方自治体や企業内でもSNSを導入する動きが活発化しているようです。しかし、SNSは比較的データアクセスが多いアプリケーションであり、負荷対策が難しい部類に入ります。そこで本稿では、前回お届けした「大規模SNS実現のためのGREEのアプローチ」の内容からもう一歩踏み込んで、GREEというSNSでの経験を基に、SNSの具体的な負荷軽減ソリューションを紹介します。 SNSのボトルネック 一定以上のユーザー数、データ量、そして機能を持つSNSでは、普通に構築していくと非常に悩ましいボトルネックが2つ顕在化してきます。1つは、「友達の新着」系の情報取得です。もう1つはア
西尾泰和のブログ @ Cybozu Labs: Python2.4以降での高速なソート
どうも、ご無沙汰です。 このブログをはじめた当初は「1日1エントリー公開しよう」 などともくろんでいたのですが、はやくも2週間以上間が空いてしまいました。 今回の話はCPythonにバージョン2.4から追加された機能についてです。 みなさんは、例えば「タプルの入ったリストを、そのタプルの2番目の要素でソートしたい」とか 「Entryオブジェクトのリストを、その属性updateTimeの値に従ってソートしたい」という場合、 どうしていますか？ まずは2.3以前から可能だった 「sortメソッドに比較用の関数を渡す方法」の実行にかかる時間を調べてみます。 # sortメソッドに比較用の関数を渡す方法 d.sort(lambda x, y: cmp(x[1], y[1])) 実行時間の測定にはtimeitモジュールを使います。 (10.10 timeit -- 小さなコード断片の実行時間計測)
mixi Engineers’ Blog » mixiのスモールワールド性の検証
初めまして、mixi開発部のfujisawaです。 マイミクシィの友人関係を使って、mixiのスモールワールド性について調べましたので、その結果について書きたいと思います。 スモールワールド性とは スモールワールド性とは、人間関係のネットワークなどでよく見られる性質で、文字通り「世間は狭い(It's a small world!)」ということを表しています。「知り合いを6人介するだけで、世界中の人々と間接的につながることができる」という『6次の隔たり(Six Degrees of Separations)』という言葉でもよく知られています。 一般にスモールワールドは以下の特徴を持っています。 誰に対しても少ない人数を介するだけで到達できる(平均距離が小さい) 自分の友人同士が友人関係にあることが多い(クラスタ性が高い) 1の距離とは、ネットワーク中のノードをたどった回数、すなわち友人を介し
DBMによるデータベースサーバ - mixi engineer blog
DSのスターフォックスというゲームにはまりまくりのmikioです。最近社内外で「俺ストレージサーバ」を作るのが流行っているようなので私も参戦してみました。今回はDBMのネットワーク層をほぼスクラッチで作った話をします。 Tokyo Tyrant Tokyo Tyrant（以下TT）はTokyo Cabinet（以下TC）をラップしてネットワーク越しに操作できるようにするツールです。キャビネット（内閣）を傀儡にするタイラント（僭主）ということで名付けました。ダウンロードはこちら。 TCは高性能なDBMで、マルチスレッドモデルで高い並列性を実現していますが、逆にマルチプロセスモデルだとファイルロックがかかるので並列性が低くなってしまいます。つまり、書き込みモードでデータベースにアクセスしているプロセスがいると、その間は他のプロセスがデータベースに接続しようとするとブロックされることになります。
mixi Engineers’ Blog » libmemcachedで快速キャッシュ生活
みんな大好きなmemcached。今日はBrian AkerのC言語用クライエントライブラリについて書きたいと思います。日本語の情報がとても少なく、ドキュメンテーションも英語だけという事で興味はあるけど手をつけていないという方のお役に立てれたらなと思います。 本題の前に why libmemcached? 既にlibmemcacheが存在するのに何故、libmemcached？かと言うと理由の一つは最近libmemcacheの開発が止まったからです。本家ではそれが理由でlibmemcacheではなくlibmemcachedを推奨してますね。又、効率的なメモリ使用、Consistent Hashing、様々なハッシュアルゴリズム、新しいオペレータに対応している等という宣伝文句があります。apr_memcacheというライブラリも存在しますが自分は使った事がないためノーコメント。 ただ、推奨さ
mixi Engineers’ Blog » 新RSS Crawlerの裏側
このブログでは初めましての長野雅広(kazeburo)です。mixi開発部・運用グループでアプリケーションの運用を担当しています。 12月12日よりmixiのRSSのCrawlerが改善され、外部ブログの反映が今までと比べ格段にはやくなっているのに気付かれた方も多いかと思います。この改善されたRSS Crawlerの裏側について書きたいと思います 以前のCrawlerについて 以前のCrawlerは cronからbrokerと呼ばれるプログラムを起動 brokerはmember DBから全件、idをincrementしながら取得し、外部ブログが設定されていればcrawlerを起動(fork) crawlerはRSSを取得しDBに格納して終了 このような設計になっていました。 この設計の問題として、member DBを全件走査するという無駄な動作と、一件一件crawlerを起動するためオーバ
[O] 富士フイルム シソーラスに基づく関連画像検索エンジン 「TRIPIT」
TRIPITによる検索は、ユーザがクエリを与えることで始まります。 クエリを与えるとTRIPITは、クエリの「上位語」「下位語」や 「同位語(同じ上位語を持つ語)」をシソーラス中から探します。 そして、それらの語をタグとして画像検索を行い結果を返します。 例えば「花」というタグのついた画像をキーにして関連画像検索を行うと、 * 上位の意味を持つ「植物」のタグがついた画像 * 下位の意味を持つ「チューリップ」「あじさい」のタグがついた画像 * 並列の意味を持つ「ガーデニング」「鳥」のタグがついた画像 などを検索結果として得ることができます。 肝心なシソーラスはサーバードメイン社と富士フイルムの共同開発だとか。 実質サーバードメイン社が発注を受けて構築したか、 自社のシソーラスを提供したか、どちらかではないでしょうか。 シソーラスの自動拡張を実装しているみたいなので、おもしろいですね。 シソー
【金融危機】小さな金融大国アイスランド破綻の恐れ (1/3ページ) - MSN産経ニュース
国家崩壊の恐れも出てきたアイスランド。首都レイキャビクの株式取引所でもトレーダーの表情は険しい＝１４日（ロイター） 世界最北の島国アイスランドが金融危機の激震に見舞われている。同国の高金利に海外マネーが吸い寄せられ、国内銀行の総資産は国内総生産（ＧＤＰ）の１０倍に。１人当たりのＧＤＰでも富裕国に仲間入りした。しかし、バブルが破裂し自国通貨は暴落、銀行は国有化され「国家崩壊」の恐れもある。人口３２万の“小さな金融大国”の破綻（はたん）を検証した。（ロンドン 木村正人） 昨年９月、「１３％超（当時）の政策金利は危険すぎないか」という記者の質問に当時、アイスランド中央銀行幹部は「国内銀行やカード会社の全口座は中央データベース（ＣＤＢ）で集中管理しており、カネの動きは一目瞭然（りょうぜん）。適切な金融政策を打てる」と胸を張った。 カードの普及で現金の流通量がＧＤＰの１％と世界で最もキャッシュレスに
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
宮前平-湯けむりの里
[O] 目覚まし用JavaScript
[O] マーケティング幹部がCGMを軽視する理由
[O] Yahoo! JAPAN WEB APIコンテストの結果が出た
Engadget | Technology News & Reviews