タグ

エンジニアリングとtwitterに関するloungepのブックマーク (6)

  • なぜTwitterは低遅延のままスケールできたのか 秒間120万つぶやきを処理、Twitterシステムの“今” − @IT

    ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセージ数は秒間120万にも達し、ユーザー同士のつながりを表すソーシャル・グラフですらメモリに載る量を超えている。途方もないスケールのデータをつないでいるにも関わらず、0.1秒以下でWebページの表示を完了させなければならない。そのために各データストレージは1~5ms程度で応答しなければならない。 Twitterのリスト機能の実装でプロジェクトリーダーを務めたこともあるNick Kallen氏が来日し、2010年4月19日から2日間の予定で開催中の「QCon Tokyo 2010」で基調講演を行った。「Data Architecture

  • そろそろモバツイがEC2に移転した話でも書くとするか。

    モバツイ以外にも実運用で回してるEC2な人たちは結構いると思うのですが、参考までに。 モバツイッターがAmazon EC2の人柱をやってくれている モバツイッターがAmazonEC2に移行しようかなとのこと。 さっそく性能問題にぶち当たったらしいし、ナイス人柱。 前にあるイベントで、EC2を活用されているHeartRailsの方にモバツイの構成をEC2に移転したらどうなるか?みたいな話をお伺いしたら、すぐ8万円/月ぐらいに構成になってしまう、と言われたのですが、大体、どんぴしゃな感じでした。 (追記:なお個人でWebサービスをスモールスタートする場合は、サーバの運用知識がそこそこある前提で、まずは自宅サーバから運用すると良いです。月間600万PVぐらいまでなら、HP ML115G5 + Phenomでこなせるハズなので。その辺についてはまたいずれ書きます。) ■EC2とは? 既にご存じの方

  • モバツイッターがEC2に移転したその後の話を聞いてきた(Amazon EC2 ナイトセミナ 第2回) - 元RX-7乗りの適当な日々

    恵比寿で開催されたJJUG主催のナイトセミナー「アマゾンEC2 ナイトセミナ 第2回」に参加してきました。 目的は、モバツイッターの中の人である、えふしんさんによる、モバツイをEC2へ移行した話が聞きたかったのと、ついでにご挨拶したかったので早々と仕事を切り上げて行ってきました。 参考: F's Garage @fshin2000 :そろそろモバツイがEC2に移転した話でも書くとするか。 現在のサービスの状況やシステム構成、自宅サーバ運用の限界点など、裏側の話が特に興味深かった!面白かったです。 せっかくメモをとったので、ここに残しておきます。 究極のスモールスタート 自宅サーバからEC2へ 講演者 藤川真一(えふしん)さん (株)paperboy&co. ECコミュニティ事業部 ペパボはGMOインターネットグループ、レンタルサーバ(lolipop)、ブログ(JUGEM)などが有名 カラメ

    モバツイッターがEC2に移転したその後の話を聞いてきた(Amazon EC2 ナイトセミナ 第2回) - 元RX-7乗りの適当な日々
  • ドキュメント勉強会を7月か8月にやります

    [2009/07/07 追記] 受付を開始しました。ご参加お待ちしてますー。 http://atnd.org/events/1020 ドキュメント勉強会を大阪で7月か8月にやります。 上流工程の勉強会って 開発言語やオープンソース系の勉強会は多くあるのですが、要件定義やドキュメント作成、チームマネージメント等々のいわゆる上流工程の勉強会は関西ではあまり聞きません。(私が知らないだけかもしれませんが) こういったスキルを付けたい場合、それなりの企業に属していれば社内にノウハウが貯まっているので、そこから学ぶのが通常でしょう。ただフリーランスで動いている人やウチのような小さな小さな会社だとそうもいかず独学で学ぶしかないわけです。 勉強の教材としては、雑誌や書籍になるわけですが、これがエンタープライズ向けの記事(PG100人!とか)が多くて、ウチがやっているような~数人月程度の案件にはオーバース

  • APIアクセス権を委譲するプロトコル、OAuthを知る ― @IT

    クロスドメインでのデジタルアイデンティティを守る APIアクセス権を委譲するプロトコル、 OAuthを知る 作島 立樹 NRIパシフィック 2008/1/21 マッシュアップと呼ばれる仕組みで、既存のWebサービスが次々とつながり、新たなサービスが登場している。しかし、メールアドレスなど重要な個人情報が意図せずに「つながれてしまう」可能性もある。そこで登場したのがアクセス権の「委譲」を目的としたプロトコル、OAuthである。記事ではOAuthの仕組みとともに、なぜそれが登場したのかという背景にも触れる(編集部) マッシュアップの犠牲になるユーザーのアイデンティティ GETなどのHTTPメソッドをもちいてURLへリクエストする、いわゆる「RESTful」【注1】なWeb APIを使ったアプリケーション同士の交流は、いままさに隆盛を極めている。「マッシュアップ」と呼ばれているこのサービス形態

  • Twitterがスケールに苦しむ理由 - スケールするサイトのアーキテクチャ考

    Twitterのスケール関係で、面白い記事を発見したのでまとめ。 一時期「スケールしない」とか「動作が不安定」だとか言われ続けていたTwitter。5月ごろにslashdot.jpでも話題になっていた。論調は総じて「Twitterがスケールしないのは、Rubyを使っているから」というもの。 ところが同じ5月、「Why Can't Twitter Scale? Blaine Cook Tries To Explain(なんでTwitterってスケールしないの?)」という、blog紹介記事がSilicon Alley Insiderに掲載される。記事の元になったblogエントリは、Twitterの前チーフアーキテクトだったBlaine Cook氏によるもの。Cook氏によれば、TwitterのスケールとRubyは何の関係もないという。 Why Can't Twitter Scale? Blai

  • 1