なぜTwitterは低遅延のままスケールできたのか 秒間120万つぶやきを処理、Twitterシステムの“今” − ＠IT
ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセージ数は秒間120万にも達し、ユーザー同士のつながりを表すソーシャル・グラフですらメモリに載る量を超えている。途方もないスケールのデータをつないでいるにも関わらず、0.1秒以下でWebページの表示を完了させなければならない。そのために各データストレージは1～5ms程度で応答しなければならない。 Twitterのリスト機能の実装でプロジェクトリーダーを務めたこともあるNick Kallen氏が来日し、2010年4月19日から2日間の予定で開催中の「QCon Tokyo 2010」で基調講演を行った。「Data Architecture
2TBを超えろ！ ATAディスクの4Kセクタ問題とは？（1/2） － ＠IT
3月版 2TBを超えろ！ ATAディスクの4Kセクタ問題とは？ 小崎資広 2010/4/7 前回書いたsys_membarrier()ですが、なかなかマージされない状態が続いています。だいたい議論も出尽くして後はマージするだけだと思っているのですが、どうもIngoは気に入らないご様子。たぶんオレ専用APIっぷりが美的感覚に合わないのでしょう。いつも「Genericに使えるように」っていいますから。 Compactionパッチは、マージの一番のネックだったkosakiがなかなかレビューしない問題は先月若干進展して、マージする方向で進んでいるみたいです。 さて、今月は久しぶりにハードウェアのお話です。ハードディスクの容量が2TiB（編注：テビバイト、1024GiB）を超えるのと前後して、4KiB（編注：キビバイト、1024bytes）セクタのハードディスクが出回り始めています。これについてハー
Webの表示速度を遅くする「SSLハンドシェイク」とは
Webの表示速度を遅くする「SSLハンドシェイク」とは：現場にキく、Webシステムの問題解決ノウハウ（3） 本連載は、日立製作所が提供するアプリケーションサーバ「Cosminexus」の開発担当者へのインタビューを通じて、Webシステムにおける、さまざまな問題／トラブルの解決に効くノウハウや注意点を紹介していく。現在起きている問題の解決や、今後の開発のご参考に（編集部） 知っていますか？ SSLハンドシェイク Webアプリケーションで提供するWebページにSSLを適用した場合、SSLでは通信相手の認証／通信内容の暗号化などの負荷の高い処理が実行されるため、WebページのWebブラウザに表示される速度が遅くなることがある。この現象は、SSLセッションを再利用して、「SSLハンドシェイク」（上記の認証／暗号化を含んだ一連の処理）を簡略化することで、解決できる場合がある。 今回は、それらの問題を
Androidはオタクとオシャレのハイブリッドで流行る！（1/3） - ＠IT
Androidは オタクとオシャレのハイブリッドで流行る！ 日本Androidの会 女子部に聞く ＠IT編集部 2010/1/21 2008年9月13日に発足した開発者コミュニティ「日本Androidの会」（参考：開発者コミュニティ「日本Androidの会」が発足）。Androidの啓蒙や技術の普及を目標にいくつかワーキンググループ（以下、WG）が存在しているが、その中でひときわ異彩を放つ「女子部」なるWGがあるのを、ご存じだろうか。 「女子部」と聞くと食い付かずにはいられないのが、男の悲しい性か。興味津々になった、あるアイティメディア男性社員の「インタビューをしましょう」という呼び掛けの下、2009年12月21日に＠IT編集部は、女子部の矢野りんさん、工藤桂子さん、案西由希さんにお話を伺うことに成功。「女子部」の成り立ちや活動内容を中心に、Androidマーケットの問題点、UIデザインの
ネットワークアクセス権も放棄せよ（1/2） － ＠IT
12月版 ネットワークアクセス権も放棄せよ 小崎資広 2010/1/12 新年明けましておめでとうございます。皆さまいかがお過ごしでしょうか？ 筆者はうっかり昨年末にパッチをLKMLに送ってしまったのがたたって、まったく心の休まらない正月でした、しくしく。そういえば、去年もTOMOYOのパッチをレビューして正月をつぶしたんだよなぁ……なんて思い出がよみがえります。 さてさて、去年はTOMOYO、perf/trace、KSM、discardとさまざまなパッチがマージされましたが、今年はいったいどんなパッチが登場するのでしょうか？ disablenetworkから始まった議論、LSMに飛び火 Michael Stoneは、disablenetworkという新しいセキュリティ機構を投稿しました。disablenetworkとは、DJB（qmail、djbdnsの作者として有名。またセキュリティに
怒りのLinus――メンテナにかんしゃく玉爆発（1/2） － ＠IT
11月版 怒りのLinus――メンテナにかんしゃく玉爆発 小崎資広 2009/12/10 お久しぶりです。10月はKernel Summit、Japan Linux Symposium、OSS貢献者賞受賞講演と欠席不可のイベントが連続で並んでいたところに、Summitの参加者から悪性の風邪をうつされて、本気で死にそうでした。というか本当に倒れました。 おかげで11月は、たまった仕事の挽回（ばんかい）が大変で大変で……。もうKernel Summitから1カ月もたったなんて信じられませんが、気を取り直して今月もいってみましょう。それでは、どうぞ。 スケジューラ改善、その後 前回大騒ぎになったスケジューラ・レイテンシですが、Kernel Summit（注1）でその後の進ちょくが報告されたので後日談をば。 その後もスケジューラ開発者の改善活動により、レイテンシはどんどん改善されていったわけですが
ここが大変だよBigtableとGoogle App Engine
ここが大変だよBigtableとGoogle App Engine：分散Key-Valueストアの本命「Bigtable」（3）（1/2 ページ） RDBとは別の、クラウド時代のデータベースとして注目を浴びている「分散Key-Valueストア」。その本命ともいえる、Googleの数々のサービスの基盤技術「Bigtable」について徹底解説 月間3000万PVの大規模サイトの運用費が月額4万円!? 月間3000万PV相当の膨大なトラフィックを楽々とさばく大規模サイトが、月額4万円弱で運用されている。 Google App Engine（以下、App Engine）が普及するにつれて、そんな驚愕の国内事例も登場しつつあります。GClueがApp Engine上で実装したmixiアプリモバイルモバイルには、1日100万PV以上のアクセスが集中している状態でもサービスのレスポンス低下やダウンは皆無
SSDをめぐる議論に浮かび上がるベンダ模様（1/2） － ＠IT
8月版 SSDをめぐる議論に浮かび上がるベンダ模様 小崎資広 2009/9/8 お久しぶりです。先月は「セキュリティ＆プログラミングキャンプ2009」の準備があまりにも忙しくて、急きょお休みしてしまった筆者です。 8月は、2.6.31がリリース間近なこともあり、実験的なパッチの投稿は少なかったように思います。唯一、Jens Axboe（blockレイヤのメンテナ）による矢継ぎ早の超大型パッチの投稿が目立っていましたが、多くの開発者がサマーバケーション中なので、反応はイマイチ。そんな中、SSD周りの議論が強烈に面白い展開をみせていたので、大きく取り上げてみました。来月は、Jensパッチか2.6.31リリースの特集になる予定です。 それでは、どうぞ。 混迷深めるdiscardリクエスト ■全面書き直しが必要？ 8月15日、Nitin Guptaがswapサブシステムに新しい通知機構の追加を提案
IT系でも活用しなければ損。論文を読んで広がる知見 - ＠IT
「Java News.jp（Javaに関する最新ニュース）」の安藤幸央氏が、CoolなプログラミングのためのノウハウやTIPS、筆者の経験などを「Rundown」（駆け足の要点説明）でお届けします（編集部） 論文は、難しくない 読者の皆さんの中には、「論文」と聞くと身構えてしまう方も多いのではないでしょうか？ 論文というと、書くのも読むのも大変で何だか小難しいことが書いてあるもののように思えるものです。それどころか、「論文とは縁がない」「プログラムがすべてだ」と思う方もいるかもしれません。しかし、ある特定分野の技術や研究を詳しく知るためには、論文は手軽で確実な情報源です。 よく論文が持つ意味について「巨人の肩の上に立つ」と例えられることがあります。これは、万有引力の研究で知られるニュートンも好んで引用していた言葉だそうです。「現代の学問は多くの研究の蓄積の上に成り立っている」ことを示す言葉
Linux Kernel Watch 6月版 君は知っているか？ 2.6.30の変更内容を（1/2） − ＠IT
6月版 君は知っているか？ 2.6.30の変更内容を 小崎資広 2009/7/1 今年の「セキュリティ＆プログラミングキャンプ」（注1）の講師をすることになってしまい、講義準備とこの原稿の締め切りがバッティングして大忙しの筆者です。皆さま、いかがお過ごしでしょうか。 今月は、6月10日にリリースされた2.6.30を中心に見ていきたいと思います。それではどうぞっ。 注1：http://www.jipdec.or.jp/camp/。この記事が公開されるころには締め切り間近だと思うのですが、これはすごいよ。有料のカンファレンスでも、この面子が一堂に集まるなんてあり得ない講師陣です。Linux以外のコースも注目です。……お盆の時期に時間が取れる学生限定ですが。 ファイルシステム周りの追加 ■日本発のログ構造化ファイルシステム「NILFS」 NILFS（New Implementation of a
もう1つの、DBのかたち、分散Key-Valueストアとは
もう1つの、DBのかたち、分散Key-Valueストアとは：分散Key-Valueストアの本命「Bigtable」（1）（1/3 ページ） RDBとは別の、クラウド時代のデータベースとして注目を浴びている「分散Key-Valueストア」。その本命ともいえる、Googleの数々のサービスの基盤技術「Bigtable」について徹底解説 クラウド時代のデータベース「分散Key-Valueストア」 グーグルがインターネットの世界をここまで席けんできた最大の理由は何でしょうか。実は、それは同社の優れた検索技術ではありません。グーグルが成し遂げた最も大きなブレークスルーの1つは、同社が生み出した巨大な分散データストア、「Bigtable」にあります。 Bigtableは、Google検索をはじめ、YouTubeやGoogle Map、Google Earth、Google Analytics、Goog
使って分かったAndroidとiPhoneの違い - ＠IT
5月末から6月にかけて、米国出張で2週間ほどAndroid端末を使う機会があった。使ってみると、同世代のスマートフォンとして競争相手であるiPhoneとの違いにいくつか気付いた。ここでは、私が気付いた両者の違いをざっくり主観を交えてまとめてみたい。 Android端末とiPhoneは、ケータイ、あるいはスマートフォンという文脈で考えれば、違いより、むしろ似ているところのほうが多い。両者とも、主にPC向けとして進化したモダンなOSとWebブラウザを搭載していて、タッチパネルを生かしたUIも同様だ。アプリケーションプラットフォームが開放されており、個人でもアプリ開発が可能という点も同じだ。Windows MobileやSymbian OSでも個人開発者によるアプリ開発は不可能ではなかったが、SDKの入手のしやすさや取っつきやすさ、ポータル的なマーケットの有無など違いは大きかった。iPhone向
グーグルが賭けるHTML 5の未来 － ＠IT
2009/05/28 「決してWebをあなどってはいけない」（Never underestimate the Web）。Google I/O 2009初日の基調講演でシュミットCEOに続いて登壇したのは、米グーグル バイス・プレジデントのビック・グンドトラ氏だ。ゆっくりと一語一語を区切りながら語り始めたグンドトラ氏の言葉には重みがある。彼は元マイクロソフト社員で、まさにWebをあなどっていた側にいたからだ。 グンドトラ氏はWindowsプラットフォームを唱道する立場にあった。彼に限らず、マイクロソフト社員の間には、ネイティブアプリケーションでなければできないことがあるとする見方が一般的だったという。「Keyholeという会社が出てきたとき、彼らが持つようなアプリケーションこそ、ネイティブでなければできないものだと言っていた。ところがグーグルは2004年11月にKeyholeを買収し、Goo
Linux Kernel Watch 5月版 Firefoxのプチフリーズ問題から始まった大論争（1/2） − ＠IT
5月版 Firefoxのプチフリーズ問題から始まった大論争 小崎資広 2009/6/1 今回メインのネタとして取り上げたFirefoxの「プチフリーズ問題」ですが、その後調べたところ、WindowsやMacでも問題になっているようですね。「firefox sqlite」で検索するといっぱいヒットしました。 今回の件は、アプリケーションのミスでもカーネル側で無理やり何とかしてしまうLinuxの実利主義の真骨頂が表れたんじゃないかと僕は思っています。皆さんはどう思いますか？ それでは、どうぞ！ それはFirefoxのプチフリーズ問題から始まった すでに各方面で話題になっていますが、2.6.30のマージウィンドウでext3のトピックが荒れに荒れ、とんでもない騒ぎが起こっていました。 問題の発端は、あるFirefoxのbugzillaエントリから始まりました（注1）。「Linux版Firefoxを
MySQLがフォークか、オープンアライアンスが誕生 － ＠IT
2009/05/14 オラクルによるサン・マイクロシステムズ買収で注目が集まるOSSプロダクトの1つ「MySQL」に異変が起きている。MySQLのオリジナル開発者で創業者でもあるマイケル・ウィデニウス（Michael Widenius）氏は5月13日、オープンソースコミュニティベースでMySQL関連の開発やサポートを行うためのハブとなる「The Open Database Alliance」（ODA）の設立を発表した。 PostgreSQLと並んでオープンソース界でデータベース製品のデファクトスタンダードとなっているMySQLは、サン・マイクロシステムズに2008年1月に買収されたことで同社の一部門に。その後、2009年4月にオラクルがサン・マイクロシステムズを買収すると発表したことから、開発体制やライセンスモデルなどを巡って憂慮の声や憶測が流れていた。オラクルのデータベース製品との整合性
Debianがglibcの派生版「eglibc」を採用へ － ＠IT
2009/05/07 Debian GNU/Linuxで、C言語の標準ライブラリである「GNU C Library」（glibc）が、その派生版である「Embedded GLIBC」（eglibc）に置き換わる可能性が出てきた。現在はまだDebianの開発版に入る前という段階だが、もし実現すれば、Debian系のディストリビューションであるUbuntuやKnoppix、Xandrosでも置き換わる可能性が高い。本家ともいえるFree Software FoundationのGNU版のライブラリをさしおいて、派生版がDebianに入る可能性が高まったことで、ちょっとした波紋が広がっている。eglibcプロジェクトではglibcとの高い互換性を目標に掲げているものの、glibcは、Linux上のサーバソフトウェアを含む多くのアプリケーションが依存しているライブラリだけに、今後の影響範囲が見えづ
ガベージコレクタの仕組みを理解する
GCを適切に行わせるためのヒープサイズの設定 JVMにGCを適切に行わせるにはヒープサイズを適切に設定（New領域サイズ、Old領域サイズ、領域サイズのバランスなど）する必要があります。当然、適切なヒープサイズはアプリケーションに依存します。一般にヒープサイズが小さいとGCが頻発してアプリケーションのパフォーマンスが低下します。さらに、ヒープサイズが必要量を下回る場合はOutOfMemoryErrorが発生してアプリケーションが停止してしまいます。一方、ヒープサイズが大きいと、GCの起動回数は減りますが、GC1回当たりの処理時間、すなわちアプリケーション停止状態が長くなり、アプリケーションの応答時間に問題が出る場合もあります。システムの物理メモリのフリー領域が不足するまでヒープサイズを大きくすると、物理メモリからスワップ領域へのページングが起こってしまい、かなりのパフォーマンスが劣化する可
msysGitでWindowsからGitを使う － ＠IT
＠IT編集部 2009/3/23 分散型のバージョン管理システム「Git」が注目されている。msysGitはGitをWindows環境で試してみるのに丁度いい（編集部） ソフトウェア開発を複数のメンバーによる共同作業で進める場合、効率よく情報（設計書やソースコードなど）を共有するために、何らかの構成管理ツールを利用することが多くなっています。 これまではSubversion（SVN）がデファクトスタンダードとなっていましたが、ここに来て分散型のバージョン管理システムが勢力を伸ばしています。主な分散型バージョン管理システムとして、Git、Mercurial、Bazaar、Darcsなどが挙げられます。詳細については、「分散バージョン管理Git/Mercurial/Bazaar徹底比較」を参照してください。 今回紹介するmsysGitは、GitをWindows環境で使うためのソフトウェアです。
SQLライクにHadoop Hiveを使い倒す!
パーティションを利用する 今回は少し凝ったテーブルを定義をしてみましょう。 郵便番号データは毎月更新されるので、テーブル指定時にバージョンも指定できるようにします。このような場合、Hiveではパーティションを使います。 以下に郵便番号を保存するテーブル「zip」を定義しますが、日付型DATEのパーティションverを設定するようにします。 hive> CREATE TABLE zip (zip STRING, pref INT, city STRING, town STRING) > PARTITIONED BY (ver DATE) > ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' > LINES TERMINATED BY '\n'; OK Time taken: 0.128 seconds
Solaris ZFSの基本的な仕組みを知る
本連載では、Solaris ZFS (以下 ZFS) の基本的なコンセプトやアーキテクチャから、その機能や実用・応用例を解説するという流れでZFSをご紹介させていただきます。 今回は、ZFSの基本的コンセプトとアーキテクチャの解説です。 Zの文字に込められた意味 ソースコードの複雑化と、扱うデータ量の増大に伴い、既存のファイルシステムでは管理性、拡張性、安全性、完全性、機能、性能が問題となることが多くなってきました。このような中、サン・マイクロシステムズ（以下、サン）のエンジニアチームは、まったく新しい、まるでコンピュータのメインメモリのように扱えるファイルシステムの開発を始めました。 目的は、既存のファイルシステムが抱える問題点をすべて解決し、管理が容易で、拡張性があり、安全でかつ完全性が保持され、便利な機能を持ち、高性能な、ある意味、究極のファイルシステムを作ることでした。 ZFSの「
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
