なぜTwitterは低遅延のままスケールできたのか 秒間120万つぶやきを処理、Twitterシステムの“今” − ＠IT
ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセージ数は秒間120万にも達し、ユーザー同士のつながりを表すソーシャル・グラフですらメモリに載る量を超えている。途方もないスケールのデータをつないでいるにも関わらず、0.1秒以下でWebページの表示を完了させなければならない。そのために各データストレージは1～5ms程度で応答しなければならない。 Twitterのリスト機能の実装でプロジェクトリーダーを務めたこともあるNick Kallen氏が来日し、2010年4月19日から2日間の予定で開催中の「QCon Tokyo 2010」で基調講演を行った。「Data Architecture
suicaは実はたまに落ちている - 紅茶屋くいっぱのあれこれ日記
suicaのサーバーはみんなの知らないところで、実はたまに落ちているそうだ。 だがシステムが止まることはない、計算上センターは3日ぐらいは止まっていても大丈夫だそうだ。 だからサーバーが落ちたなどとニュース沙汰になることは殆ど無い。 suica開発陣頭指揮をされていたかたが、その実績をまとめてと頼まれ、博士論文にしたそうだ。 suicaの実例を述べるだけだと技術論文になってしまうので、一般化して論文を書きあげたそうなのだが、審査に携わった専門家の人達はそんなものが動くわけないだろうといったらしい。しかし現実問題としてsuicaは動いてしまっている。 本人いわく、だってそれで動いちゃってるんだもん。だそうだ。 実装は時として奇妙に見えるかもしれない。 フィールドには神がいる。 …その意や、なんで落ちても大丈夫かなどはまた後ほど。 スイカのセミナー 昨日はスイカのセミナーだった。 JR東でスイ
不倒城: SI業界からネットゲーム業界に移った知人に色々話を聞いてきた。
ちょっと技術的な話になる。 私の知人に、かつてはアルファベット三文字の某有名SI会社に在籍していて、今はどういう訳か某ネットゲームの会社に勤めている変り種がいる。 彼はネットワークとDBの専門家である。ゲーム業界には元来DB周りに詳しい人があまり多くなかったらしく、しかしネットゲームの開発にはDBやネットワークのアーキテクチャに関する知識が必須で、要は引き抜かれたらしいのだが、当人それ程ゲーム好きでもないのに面白いルートに行くなーと思っていた。 機会があったら金融業界とネットゲーム業界のシステム周りの違いについて聞いてみたいなーと思ってたんだが、この前久々に会ったら色んな話が聞けた。特定されない程度においおい書いてみよう。ぼかして書く為、ところどころいー加減だが勘弁して頂きたい。 今日はサーバとかデータのやり取りとか、技術的な話。 まず、前提。オンラインシステムの肝の一つに、「誰がデータを
「感情の共有」，「負荷との戦い」---ニコニコ動画の技術：ITpro
インターネット・サービスの激戦区である動画配信で後発ながらYouTubeを上回る成長速度，YouTubeの3倍以上となる1日ひとり3時間以上という平均視聴時間を実現したニコニコ動画。開設後1年足らずで400万人の会員を獲得，日本全体のトラフィックの約10分の1を占める。その成長速度はmixiも上回り，日本史上最速と見られる。 ニコニコ動画は多くのメディアで語られ，2007年10月にはグッドデザイン賞も獲得したが，これまでは社会現象やマーケティングの観点から語られることが多かった。しかしニコニコ動画を作り上げ，その急拡大を支えたのはまぎれもなくエンジニアの技術だ。多くのクリエイタやユーザーを魅了し，巨大なアクセスをさばく技術はどのようなものなのか。ドワンゴのエンジニアに聞いた。 「感情」を共有するアルゴリズム 動画の上に文字をかぶせるサービスはニコニコ動画以前にも存在した。また，動画のタイミ
グリッド化の決断を下すとき | OSDN Magazine
新たなアプリケーションの設計と実装では、十分なリソースの捻出と冗長性の確保に悪戦苦闘を強いられるおそれがある。だが、グリッドアーキテクチャを採用してアプリケーションを構築すれば、低いコストで冗長性と並列処理を実現でき、リソース配分が容易になる。 グリッドアーキテクチャを用いる理由 新規アプリケーションの設計時には、多くの理由から基本プラットフォームでのグリッドアーキテクチャの採用を検討すべきである。グリッドコンピューティングのフレームワークであるグリッドアーキテクチャは、データを処理する独特のプラットフォームを提供し、従来に代わるコスト効率に優れたアーキテクチャになり得る。シングルサーバアーキテクチャに比べると、グリッドアーキテクチャには並列処理、リソースの負荷分散、未使用リソースの活用といった多くの利点がある。従来のサーバ環境におけるアプリケーションの発展は、サーバのハードウェアの限界に
livedoor Techブログ : nowaのサーバ構成
こんにちはスエヒロです。 今回は弊社が提供しているブログサービス「nowa」(ノワ http://nowa.jp)の仕組みをサーバ構成を中心に紹介したいと思います。 nowaでは一般的なブログサービス要素とSNS要素の機能を実装しています。弊社には先行して提供している「livedoor Blog」、「フレパ」といった大規模なサービスがありますので、そちらの開発・運用で問題になった点などを参考にしつつ開発を進めています。具体的にはアクセスによる負荷への対策、データベースの分散化、画像のストレージング、冗長性、スケーラビリティといった点になります。 - ポータル(nowa.jp)、CMS(cms.nowa.jp) のサーバ構成 ポータルページ(nowa.jp)とCMSページ(cms.nowa.jp)は、静的なファイルのリクエストを捌く+動的なコンテンツへのリクエストをプロキシするフロントサーバ
Hatena::Diary::take-m - livedoor テクノロジーセミナー
昨日、livedoor テクノロジーセミナーに参加してきたので、そのメモと感想を。 アジェンダ セッション1: 「はてなの開発/運用体制について」 / はてな 伊藤直也氏 セッション2: 「livedoor Readerについて」 / ライブドア ma.la氏 セッション3: ディスカッション / はてな 伊藤直也氏、ライブドア 池邉氏 セッション4: 質疑応答 メモ 自分の意見は文字色を変えてます。 セッション1: 「はてなの開発/運用体制について」 / はてな 伊藤直也氏 id:naoya:20061214:1166063145 に発表資料。 はてブのサーバー構成について 特性に合わせて3つのセグメントに分けているのが、非常に特徴的だと思った。 通常リクエスト用 bot用 → リクエストが非常に多いがレスポンス速度はそんなに重要じゃない イメージやカウンタなど → Webサーバーに負荷
最速インターフェース研究会 :: ライブドアのテクノロジーセミナーでしゃべってきました
昨晩はライブドアで開催されたテクノロジーセミナーで「Technologies for UI」という題でプレゼンをやりました。 発表資料はpdfかhtmlで公開する予定ですが、とりあえずテキストだけ先にアップしておきます。 http://ma.la/files/livedoor/seminar2006/seminar.txt プレゼンツールがFirefox専用だったりするので、これも少し手直しして公開予定です。 こういう機会があるたびにプレゼンツールを作ってるような気がします。 ---- 追記:12/15 ライブドアのtechblogの方に発表資料をアップしました。 http://blog.livedoor.jp/techblog/paper/ldtech2006/ 上下カーソルキーでページをめくれます。
【事例フラッシュ】金融系ITエンジニアが考えたGMOインターネット証券の証券取引用システム
GMOインターネット証券は5月14日，インターネット証券取引用システムを稼働した。(1)先行するインターネット証券会社よりも低い利用料（株式取引の手数料）でサービスを提供する，(2)証券取引だけでなくほかのサービスも合わせて提供できるようにする，という二つの経営目標を達成するために，オープンソースを採用し，ユーザー認証サーバーを分離するという工夫をした。 システム投資が利用料に跳ね返るインターネット証券では，投資額を抑えることが不可欠。そこで，他のインターネット証券会社で広く採用されているUNIXサーバーではなく，Linuxを搭載したPCサーバーを採用。また，Webアプリケーション・サーバー用ソフトとしてTomcat/JBoss，フレームワークにはSpringとStrutsと，オープンソース・ソフトを採用した。ただし，データベース管理ソフトは，信頼性を確保するためにOracleを採用した。
koyachiの日記 - Flickrの中のヒトのLAMP構成プレゼン(Hardware Layouts for LAMP Installations)訳
del.icio.us見てたら面白いファイルがあったので訳しながらはてな記法ワープロでメモったものを公開します。2005/10/18-25に行われたZend/PHP Conference & ExpoにてFlickrのJohn Allspaw氏が発表されたプレゼンの内容のようです。英語読めるヒトは本物のほうをご覧ください。そもそもプレゼンなので長文はほとんどないし、図も入ってるので。天丼に親近感を覚えました。 あと はてな記法ワープロいいですね。ついでにはてな記法なプレゼンツールも是非作ってください！！！ 普通にSQL書いてMySQL使うのは出来るけど負荷とかほとんど考えたことないなーと思って「実践ハイパフォーマンスMySQL」読んでたところでhttp://del.icio.us/tag/flickr+mysqlあたりで見つけました。「実践ハイパフォーマンスMySQL」だと6章から9章辺り
動画配信の負荷分散は比較的簡単 - 最速配信研究会(@yamaz)
http://d.hatena.ne.jp/naoya/20060407/1144376197 ではてなおやさんがYouTubeの負荷分散について語っておられる. mixiの負荷分散とは質が違うことについてはおおむね同意だけど, YouTube のシステムを見たときにその焦点になるのは、まず第一にネットワーク帯域。第二にストレージをどうしているかというところじゃないかなと思います。動画配信にリソースがいるポイントは、ネットワーク帯域とディスク I/O です。つまり YouTube の負荷分散で気になるところは * ネットワーク帯域 * ストレージ o 容量の管理 o 動画を格納しているストレージサーバーの I/O あたりです。 はちょっと踏み込み足りないなぁという印象なので書いておく.集合知.集合知. 動画配信は通常の画像配信と違って下記の特性を持つ. 画像のように1ページに複数個配信する
naoyaのはてなダイアリー - YouTube の負荷
なんつったって動画ですよ。 ブログとかmixi日記のようなテキストレベルのコンテンツに比べて、はるかにサーバーにかかる負荷は高いはずです。 YouTube と mixi を比較して "負荷" の話をしていて、「動画配信だから負荷が高い」と断定していますが、これは何を"負荷"とするかにもよるかなと思います。 "負荷" というと CPU load や I/O などリソースの消費っぷりを指す言葉というイメージがありますが。(一般的には違うものでしょうか?) そういう意味での負荷で言ったら、「YouTube = 動画 / mixi = テキストだから YouTube の方が負荷が高い」という断定はやや微妙です。負荷の種類が違うのです。 YouTube のシステムを見たときにその焦点になるのは、まず第一にネットワーク帯域。第二にストレージをどうしているかというところじゃないかなと思います。動画配信に
naoyaのはてなダイアリー - Inside Hatena Bookmark's Backend の資料
以下に置いておきました。遅くなってすいません。 http://bloghackers.net/~naoya/pdf/050404inside_hatena_bookmark.pdf 会場で前置きしたように、はてなブックマークは、はてなで一番大きなシステムであるはてなダイアリーあるいは同じ YAPC で発表のあった mixi に比べると、まだそこまで大きな規模ではありません。月間の PV はだいたい 4,000 万 PV 〜 というところです。 ただ、日本でのトラフィックが上から 5 番目みたいな怪物サイトよりも、月間の PV が 1,000 万クラスのサービスの情報の方が、より現実的で役に立つのではないかと思い、はてなブックマークの裏側に絞って話しをしてみました。 ...という前提で見ていただけると嬉しいです。 はてなブックマークのデータのサイズもかなり大きくなってきたので、ぼちぼちパーテ
ミクシィのCTOが語る「mixiはいかにして増え続けるトラフィックに対処してきたか」：ITpro
ミクシィのCTOが語る「mixiはいかにして増え続けるトラフィックに対処してきたか」 YAPC::Asia 2006 Tokyo 東京都大田区で開催されているPerl技術者向けカンファレンス「YAPC::Asia 2006 Tokyo」で2006年3月29日，日本最大のソーシャル・ネットワーキング・サイト（SNS）である「mixi」を運営するミクシィのBatara Kesuma（バタラ・ケスマ）取締役最高技術責任者（CTO）が，増え続ける膨大なトラフィックにどのように対処してきたのかについて講演した。カギとなるのは「データベース分割」である。 mixiのシステムはもともとBatara氏が1人で作り上げたものだ。2003年当時，米国でFriendsterなどのSNSがはやっており，同氏が会社（現在のミクシィ，当時はイー・マーキュリー）にSNSを作りたいと提案したところ認められたという。同氏が
The C10K problem
[Help save the best Linux news source on the web -- subscribe to Linux Weekly News!] It's time for web servers to handle ten thousand clients simultaneously, don't you think? After all, the web is a big place now. And computers are big, too. You can buy a 1000MHz machine with 2 gigabytes of RAM and an 1000Mbit/sec Ethernet card for $1200 or so. Let's see - at 20000 clients, that's 50KHz, 100Kbytes
Shibuya Perl Mongers : 1周年記念テクニカルトーク 発表資料とレビューリンク集
We are a group of people dedicated to the encouragement of all things Perl-like in Shibuya. 1周年記念テクニカルトーク 発表資料とレビューリンク集 Shibuya Perl Mongers 1周年記念テクニカルトークが無事終了しました。スピーカの皆さん、休日でビルのセキュリティなど面倒な中、セミナー会場を貸していただいた技術評論社 Software Design, WEB+DB PRESS のスタッフの皆様、そして参加された皆さん、ありがとうございました。 当日の発表資料をこちらで公開します。スピーカの都合などにより、当日とは内容が異なっているものもありますがご了承ください。 Session #1-#3 伊藤直也 - Blog テクノロジと Web サービス [.ppt 4.8M] 竹迫良範 - m
オンメモリDBで高速にBI - 数理技研Core Saver利用でNECがパッケージ | エンタープライズ | マイコミジャーナル
NECは27日、数理技研とメモリDBによる流通業向けソリューション事業での提携を発表した。数理技研の「Core Saver」を中心としたスーパー/量販店向け業務パッケージ「DCMSTORE」シリーズを共同で開発し、NECが販売する。 「Core Saver」は、データアクセス性能を最優先に、すべてのデータを実メモリ上に記憶するオンメモリデータベース製品。データウェアハウスや、基幹データベースのキャッシュ用途を中心に10年以上の運用実績があるという。 「DCMSTORE」シリーズは、本部基幹システム「DCMSTORE-MD」、ストアオートメーション「DCMSTORE-SA」、商品分析システム「DCMSTORE-DWH」の3パッケージから構成され、そのすべてでCore Saverを利用した高速処理を特徴とする。例えば、レシートデータから商品購入の有意な傾向を発見する「バスケット分析」など、従来
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://cgi36.plala.or.jp/tera5/v/security/webap_sec2/chap01.html
Technologies for UI
naoyaのはてなダイアリー - ライブドアのテクノロジーセミナーでしゃべってきました。
