なぜTwitterは低遅延のままスケールできたのか 秒間120万つぶやきを処理、Twitterシステムの“今” − ＠IT
ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセージ数は秒間120万にも達し、ユーザー同士のつながりを表すソーシャル・グラフですらメモリに載る量を超えている。途方もないスケールのデータをつないでいるにも関わらず、0.1秒以下でWebページの表示を完了させなければならない。そのために各データストレージは1～5ms程度で応答しなければならない。 Twitterのリスト機能の実装でプロジェクトリーダーを務めたこともあるNick Kallen氏が来日し、2010年4月19日から2日間の予定で開催中の「QCon Tokyo 2010」で基調講演を行った。「Data Architecture
クラウド環境ではデータベースは「非正規化」して使う？ － ＠IT
2009/06/09 2009年4月7日、グーグルは利用者が作成したアプリケーションをスケーラブルなホスティング環境で稼働させられるクラウド系サービス「Google App Engine」で、新たにJavaをサポート言語に加えた。Java言語のサポートによって、業務アプリケーションのクラウド移行は起こるのか？ Google App Engine担当者に話を聞いた。 米グーグル デベロッパー・アドボケートのフレッド・ソーサー（Fred Saucer）氏。もともとJavaによる業務アプリケーション開発のコンサルタントだったが、最近グーグルに入社したという ――コンシューマ市場ではクラウドサービスの受容が進む一方、企業ユーザーはクラウド移行に消極的にも見えます。 ソーサー氏 確かにコンシューマのほうが新しいものを試して、利用するようになるのが速い傾向はあります。でも、そうしたコンシューマ向けサー
グーグルが賭けるHTML 5の未来 － ＠IT
2009/05/28 「決してWebをあなどってはいけない」（Never underestimate the Web）。Google I/O 2009初日の基調講演でシュミットCEOに続いて登壇したのは、米グーグル バイス・プレジデントのビック・グンドトラ氏だ。ゆっくりと一語一語を区切りながら語り始めたグンドトラ氏の言葉には重みがある。彼は元マイクロソフト社員で、まさにWebをあなどっていた側にいたからだ。 グンドトラ氏はWindowsプラットフォームを唱道する立場にあった。彼に限らず、マイクロソフト社員の間には、ネイティブアプリケーションでなければできないことがあるとする見方が一般的だったという。「Keyholeという会社が出てきたとき、彼らが持つようなアプリケーションこそ、ネイティブでなければできないものだと言っていた。ところがグーグルは2004年11月にKeyholeを買収し、Goo
PostgreSQLに足りないもの／XMLDBへの期待（2/2）－ ＠IT
■今年はXMLDBが現場へ進出するか？ まず、前知識として、最近のXMLDB市場の動向を再確認しておきましょう。 筆者の感触では、昨年からXMLデータベースは本格的に復興の動きを見せています。2006年ごろからすでに兆候はありましたが、2007年1月のW3CによるXQuery 1.0勧告をきっかけに、各種データベースベンダの動きが本格的になってきました。事実、2007年8月には日立のHiRDB V8.2、10月にはOracle Database 11gとIBM DB2 9.5“Viper 2”などXML機能を強化した商用RDBMSのリリースが続きました。 今年はというと、ここ数カ月はXMLデータベース関連書籍が次々と出版されています。『標準講座 XQuery』や『XML-DB開発 実技コース』（翔泳社）、また『プロジェクトの流れで理解するXMLDBデザイン徹底解説―最新DB2 9.5pur
「御三家」vs. OSS vs. XML DBの世界を覗く（1/2） － ＠IT
Database Watch 2008年4月版 「御三家」 vs. OSS vs. XML DBの世界を覗く 加山恵美 2008/4/21 花見には行きましたか？ 満開の桜を見ると新入社員になった日を思い返し、心機一転また頑張ろうという気になりますね。今月は新たにデータベースにかかわる方に向けて、データベース関連の情報をご案内します。新入りさん、一見さん、いらっしゃい！ ■商用RDBMS「御三家」――オラクル、IBM、マイクロソフト 本連載ではデータベース業界や技術動向を追っています。データベースがシステムに重要な存在であるのは言うまでもないことですが、加えて、筆者は次のように考えています。 一概にITでシステムといっても、多種多様にあります。しかし情報に何らかの処理を行うのがシステムですから、データがないシステムはあり得ません。データが不可欠であれば、そのデータを格納するデータベースはシ
Googleレベルの学生が起業した「Preferred Infrastructure」 ― ＠IT
2008/03/24 検索エンジン開発の分野で有名になりつつある企業にPreferred Infrastructure（PFI、東京都文京区）がある。目を引くのは10人の社員がいずれも東京大学大学院、京都大学大学院の出身者、もしくは在学中ということ。東京大学大学院の情報系研究科出身者の多くが近年、Googleに入社していることは有名だが、PFIは、いわば、Googleに行かなかったGoogleレベルの学生たちが起業したといえる。エンジニア率100％のPFIは日本のテクノロジ・ベンチャーの姿を変えるだろうか。 PFIの代表取締役社長 西川徹氏は「ACM 国際大学対抗プログラミングコンテスト（ACM/ICPC）の世界大会に出場したメンバーと一緒に何かやりたかった」と起業の動機を話す。起業したのは2006年3月。資本金は30万円。当時の社員は6人で全員が学生だった。オフィスはなく、Skypeで話
＠IT Special ネクストSOAのITパラダイム リアルタイムなイベント駆動型ビジネスを実現する「イベントストリーム処理」
ストックのデータからフローのイベントへ――ビジネスのリアルタイム化にともなって、新しいIT活用モデルが徐々に浸透し始めてきた。「Progress Apama」が実現する“イベントストリーム処理（Event Stream Processing：ESP）”が、この変化をリードしている。 業務プロセスの中で発生する「イベント」によって駆動するシステムアーキテクチャを「EDA（Event Driven Architecture＝イベント駆動型アーキテクチャ）」と呼ぶ。このEDAを実現するテクノロジとして期待されているのが、イベントストリーム処理だ。これとほぼ同義のものとして、「CEP（Complex Event Processing＝複合イベント処理）」がある。これは、米ガートナーがEDAとともに提唱し始めた次世代のコンピューティングモデルである。 ここに、はるか以前からイベント処理に注目していた
＠IT：Database Watch 5月版 Page 1/2
Database Watch 5月版 Page 1/2 2005年、RDBMSの対抗軸はXMLへ向かう？ 加山恵美 2005/5/14 今月はXMLデータベースについて、データの格納方法を中心に比較してみます。システムでXML形式のデータを扱う必要性はますます高くなる中、データベースはただXMLと連携するだけではなくXMLの特性に合わせた進化を迫られています。アプリケーション間を行き交うXMLとデータを収納するデータベース、そのデータ格納方法やXML機能の対応具合はデータベースごとに個性が出ていて興味深いです。 ■OracleはLinux 2.6カーネルに対応 まずは最近の主な話題から。オラクル製品のLinux 2.6カーネルへの対応が進んでいます。オラクル製品の「Red Hat Enterprise Linux 4」への対応日程が4月21日に公表されました。それによると、すでに4月中には
すばらしいソフトを作るには、カリスマが講演 ― ＠IT
記者という職業柄、これまで非常に多くのプレゼンテーションを見てきたが、プレゼンテーションの1枚目が半裸の女性モデルの写真だったのは初めてだった。 2月13日、14日の予定で東京・目黒で開催中の「デベロッパーズ・サミット2008」で講演したFog Creek Softwareの創業者でCEOのジョエル・スポルスキー（Joel Spolsky）氏のプレゼンテーション「Joel on Developers Summit――素晴らしいソフトウェアを作るということ」は、型破りに楽しく、なおかつソフトウェア開発者にとって示唆に富む内容だった。 スポルスキー氏は米マイクロソフトのExcelチームで、Excel用マクロ言語を、後にVBAと呼ばれることになるモダンなオブジェクト指向言語に置き換える仕事でプログラムマネージャを務めたことがあるなどソフトウェア開発のベテランだが、エッセイの書き手としても名を馳せ
IBMのイノベーションラボで開発中の10の新技術 － ＠IT
「IBM Lotusphere 2008」カンファレンスは各種の新しいコラボレーション技術の発表の舞台だが、IBMはこの機会を利用して、世界各国にある同社の研究所で開発中のソフトウェアを披露した。将来有望な10の新技術を以下に紹介するが、興奮しすぎないよう注意していただきたい。これらの製品の中には、既存のIBM製品に組み込まれる予定のものもあれば、最後まで日の目を見ることがないものもあるかもしれない。 「Bluegrass」 IBMの公共向けメタバース（3Dの仮想空間）の「Bluegrass」は、仮想の会議室をセットアップできる仮想現実アプリケーションである。ソーシャルネットワーキングと仮想現実の融合と言えば確かに聞こえはいいが、人々は本当に、直接顔を合わせることをやめ、仮想会議室で会うようになるのだろうか。その答えはいずれ明らかになるだろうが、IBMはこの技術に大きな期待をかけている。
＠IT Special 革新的アルゴリズムでデータベースのボトルネックを解消
情報量が飛躍的に増大した現在、従来型のデータベースシステムでは、DWHを利用する情報検索・分析システムや更新系バッチ処理などで、パフォーマンス不足が深刻な問題となっている。そこで注目を浴びているのは、オンメモリデータベース「Oh-Pa 1/3」である。その革新的なアルゴリズムとデータ構造を紹介していこう。 本来、リレーショナル・データベース（以下、RDBMS）は定型データを大量に蓄積し、レコードのごく一部を参照する処理に適したデータベースである。この特性が基幹系データ処理と非常に良くマッチしていたため、RDBMSは企業システムの定番データベースとして広く普及するに至った。 ところが現在、企業のデータ処理ニーズは“蓄積”だけに留まらず、顧客データや販売管理データなどを縦横に分析して経営に役立てる情報系データ処理の重要度が高まってきた。こういった情報系システムでは、複数のデータベースを横串で検
ブログ分析でテキスト・マイニングが急成長、ITR調査で判明 － ＠IT
2007/08/21 アイ・ティ・アール（ITR）は8月21日、国内ビジネス・インテリジェンス市場の動向を調査した「ITR Market View：BI市場2007」を発売した。2006年度の国内BI市場は出荷金額ベースで前年度比10.5％増の157億5000万円。コンタクトセンターに寄せられる顧客からの要望や、ブログ、SNSのデータ分析が増えたことで、テキスト・マイニング市場が急成長を記録した。 2006年度のテキスト・マイニング市場は前年比約24％増の11億5000万円。コンタクトセンターやブログ、SNSで生成される大量のテキストデータを分析するニーズが高まっているとITRは分析している。 テキスト・マイニングツールのベンダ別市場シェア（出荷金額ベース）は野村総合研究所が60％でトップ。2位以下は数理システム（7.8％）、クオリカ（7.8％）、エス・ピー・エス・エス（5.4％）の順とな
熱狂的に学んだテクノロジが衰退する理由 － ＠IT
技術分野に特化した投資活動をする際、大まかな技術的流れを把握することは欠かせない作業である。過去からのトレンドとその後を検証することは未来の同行に関する示唆に富むことが多い。 さて実用的マッシュアップサイトがぽつぽつと出現している昨今、そういえば、CORBAって最近話題に上らないなぁと思い至った。多少なりとも定量的に検証するため、Amazonの和書で“CORBA”をサーチしてみると、28件がヒットする。本の出版年を見ると1996から2001年であり、2002年以降出版されたCORBAの本は見当たらない。同じく、国産分散オブジェクト技術であるHORBは、ヒット1件で2002年が最後。MICOも2000年出版の1件のみである。 寂しい検索結果 誤解のないように断っておくが、CORBAは、現在もOMGにおいて改訂が続けられている現役のテクノロジである。しかしながら、明らかにそのブームの中心は20
簡単マッシュアップ、「Yahoo! Pipes」が面白い ― ＠IT
2007/02/09 米ヤフーは複数のフィードを組み合わせて自分独自のデータを出力させることができるマッシュアップツール「Yahoo! Pipes」を公開した。ビジュアルツールを使い、マウスのドラッグ＆ドロップで新しいWebサービスを作ることができる。米ヤフーのIDで利用可能。 ビジュアルツールはPipeの名のとおり、さまざまな機能を持つモジュールをパイプで接続することでWebサービスを開発できる。データのソースとして利用できるフィードは、ヤフーの検索結果や「Google Base」「Flickr」のほか、ブログなどを読み込ませる「Fetch」がある。 用意されているモジュールを使って、読み込ませたデータにフィルターをかけたり、ソートすることができる。最終的にはRSSフィードでデータが出力される。思いついたアイデアを基に手軽にWebサービスを作れる簡便さが特徴だ。ただ、現状では日本語の扱い
カミオカンデに富士通のブレードサーバ採用 － ＠IT
2007/01/12 富士通は1月12日、ニュートリノ研究で知られる東京大学宇宙線研究所の「スーパーカミオカンデ」の実験解析システムを受注し、同社のブレードサーバや高速分散ファイルシステムを納入すると発表した。2007年3月に稼働予定。 計算サーバはPCクラスタで、デュアルコアのXeonプロセッサを2基搭載するブレードサーバ「PRIMERGY BX620 S3」270台で構成。合計1080のコアとなり、従来システムに比べて約35倍の演算性能を持つという。これまでに蓄積されている観測データが550TB、1日の増加分が約160GBと膨大であることから、ストレージシステムも一新。従来システムの約2倍に相当する1秒当たり750MBの転送速度を実現した。また、これまでテープライブラリに保存していたような過去のデータでも頻繁にアクセスのあるデータについては大容量ディスクストレージに移行することで、解析
＠IT：ネットワークコラム：Webちらし、国産RSSリーダーのいきさつと人工知能化の野望
Webちらし、国産RSSリーダーのいきさつと人工知能化の野望：ものになるモノ、ならないモノ（10） 数回にわたり、国内のWeb2.0企業にフォーカスし、その姿を見ていく。第2弾の今回は、国産RSSリーダーのグルコースに国産RSSが生まれた経緯と今後の検索やRSSの姿について話を聞いた （編集部） 連載目次 国産Web 2.0企業を量産しよう 自らが開発したRSSリーダー（参照：「5分でわかるRSS。Web更新情報を効率的に知る技術」）が、NTTレゾナントにgooRSSリーダーとして採用され、そして、その勢いを借りるように、日本を代表するWeb 2.0サービスともいえるmixiが新しく開始した「mixiミュージック」に専用ソフトを提供する若い会社、それが今回紹介するグルコースだ。 国立情報学研究所・早稲田大学の学生を中心に運営され、東京・文京区の住宅街に溶け込むようにたたずむガレージ風のワン
「IBM DB2 9」登場、XML DBとRDBMSを統合し「第3世代」打ち出す － ＠IT
2006/7/8 日本IBMは7月7日、リレーショナル・データベース管理システム（RDBMS）の新製品「DB2 9」（開発コード名：Viper）を発表した。XMLデータをネイティブで取り込めるようにしたハイブリッド型が最大の特徴で、リレーショナルデータだけでなく、企業内に多数ある非構造データをXMLデータとして格納できる。日本IBMは「XMLをネイティブでサポートするのはDB2 9だけ」として、DB2 9を“第3世代データベース”として売り出す。 日本IBMのソフトェア事業 インフォメーション・マネジメント事業部 事業部長 渡邉宗行氏は、RDBMSが扱えるデータは企業内の2割に過ぎず、残りの8割は非構造データと指摘。そのうえでXBRLなど、XMLデータを使って非構造データを管理するケースが増えてきていることを挙げて、「業務プロセスの変化に柔軟に対応するにはXMLデータとリレーショナルデータ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
＠IT：PDFファイルからテキストを抽出するには
「perlで1/100000秒単位の正確な処理時間を計算したい」（1） Linux Square － ＠IT
「W3C XMLスキーマの編集ツール」（1） XML & SOA － ＠IT