Hadoopと3つのRDBMSの比較評価。 Hadoop World: NYC 2010
先週10月12日に、ニューヨークでHadoopのイベント「Hadoop World: NYC 2010」が開催されました。主催はHadoopのディストリビューションベンダであるCloudera。参加者は900名を超えたともいわれ、日本からも30名程度が参加しました。 このイベントでClouderaはNTTデータとの提携を発表。両社でアジア太平洋地域と日本でのHadoopビジネスを積極展開することを明らかにしています。NTTデータによる講演のなかでリクルートの米谷修氏が行ったHadoopに関する比較評価を紹介します。 この記事はHadoop WorldでClouderaと提携したNTTデータが目指すもの。Hadoop World: NYC 2010」の続きです。 3種類のデータベースとHadoopを比較 リクルート MIT United システム基盤室エグゼクティブマネージャー 米谷修氏。
Facebook、memcachedに300TB以上のライブデータを置く大規模運用の内側
クラウドのように大規模なシステムでは、ソフトウェアの開発と同等以上に、大規模運用の巧拙が、システム全体の成功を大きく左右します。 6月22日から、米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」で、FacebookのTechnical Operations teamを担当するTom Cook氏が「A Day in the Life of Facebook Operations」（Facebook運用のある1日）と題したセッションで、Facebookがふだんどのような運用を行っているか、紹介しています。 世界でトップクラスの大規模サイトが、普段どのようなツールを用い、どのような方法で運用しているのか、セッションの内容を紹介しましょう。 6年で4億アクティブユーザー、3カ所のデータセンター Tom Cook氏。Facebo
「昔々、OSは重要なものだった」 ジャン＝ルイ・ガセー氏が考える、新しい時代のOS
アップルコンピュータの技術担当で、その後Be社を設立してBeOSを開発したジャン＝ルイ・ガセー氏。ブログMonday Noteで、「The OS Doesn’t Matter…」（OSは重要ではない）というエントリをポストし、従来のOSに代わる新しいOS像についての意見を表明しています。 ユーザー体験と開発ツール ガセー氏のエントリは「Once upon a time, operating systems used to matter a lot; 」（昔々、オペレーティングシステムは重要なものだった）という一節で始まっています。当時、コンピュータで何ができて何ができないのかを決定づけているのがOSでした。 そして「Today, there’s only one operating system: Unix. 」（今日、ただ1つのオペレーティングシステムが存在する。UNIXだ）と、ガセー氏
［速報］Internet Explorer 9βが公開。新しく作り直されたユーザーインターフェイス
米マイクロソフトは9月15日（日本時間9月16日未明）にInternet Explorer 9のβ版を公開しました。Internet Explorer 9はHTML5やCSS3といった最新のWeb標準に対応し、高速なJavaScript実行環境を備えたブラウザとして開発が進んでいます。 この記事では、そうしたInternet Explorer 9の特徴の中から、β版公開によって初めて明らかになった新しいユーザーインターフェイスを中心に紹介しましょう。 Internet Explorer 9の主なユーザーインターフェイスの機能 シンプルな外観 ボタンやメニューが徹底的に整理され、非常にシンプルな外観になりました。もっともよく使われる戻るボタンが目立ち、ホーム、お気に入り、設定はアイコンとしてウィンドウの右端に置かれています。アドレスバーとタブが横に並んでおり、コンテンツ領域を広く見せています
セールスフォース社長がつぶやいたエコポイント申請サイトの裏話。失敗したら日本撤退も
昨年、2009年の7月1日に政府のエコポイント申請のためのWebサイトがオープンしたとき、そのWebサイトがセールスフォース・ドットコムのクラウドで作られており、しかも納期はわずか1カ月程度しかなかったはずだ、とPublickeyで指摘しました。 「エコポイント」の申し込み画面はクラウド上に。開発期間わずか1カ月？ この記事に対してセールスフォース・ドットコム社長の宇陀栄次氏から「この記事の内容も、正しい状況の理解であり、すばらしいと思います。」と直接コメントをいただき（本人であることを広報経由で確認）、この指摘が事実であることを確認しました。 そのエコポイント開発時の裏話を、先週末9月11日の深夜に宇陀社長が突然ツイッターでつぶやきはじめました。 エコポイントの時の話。昨年の5月28日昼。要件は？とお聞きして、7月1日にサービス開始すること、との返答。登録数は2000万人を想定。当社は法
HTML5がラストコール（最終草案）へ、工程表を発表
W3CでのHTML5の議論が、ラストコール（最終草案）に向けて具体的に動き始めました。 W3CのHTMLワーキンググループでチェア（議長）の一人であるMaciej Stachowiak氏は、9月7日付けでHTMLワーキンググループのメーリングリストに「Timeline to Last Call」というメールをポストし、ラストコールに向けた工程表を明らかにしました。 Timeline to Last Call from Maciej Stachowiak on 2010-09-08 ([email protected] from September 2010) これによりHTML5について機能追加や変更の議論が収束することになります。 ただし、W3CではCanvasやWeb Storageなどの多くの機能がHTML5の関連仕様として分離され議論されているので、それらについての議論は継続するは
技術評論社のクラウド技術誌「G-CLOUD magazine」創刊。Amazon EC2とEucalyptusを重点解説
技術評論社のクラウド技術誌「G-CLOUD magazine」創刊。Amazon EC2とEucalyptusを重点解説 技術評論社から「G-CLOUD magazine」が出版されました。特集記事は、Amazon Web ServicesとEucalyptus、そしてIIJ GIOからForce.com、Windows Azureまでカバーしています。 ただし誌名にmagazineとついていますが月刊誌ではありません。ムック（雑誌形式の書籍）のようで、次号は未定。それなら日経BPの「みてわかるクラウドマガジン」が4月に出ているので、うたい文句の「唯一のクラウド技術誌」は違うのでは？ と思いつつ、手に取ってみました。 Eucalyptusをじっくりと解説しているのが最大の特徴 第1特集は、Amazonクラウドの入門記事。Amazonクラウドの最近の動向やユーザーグループのJAWS-UGの紹
OracleがGoogleを訴えた理由、「AndroidはJavaと競合する」はどういう意味だろうか
米国で、オラクルがグーグルを著作権侵害で提訴した、というニュースが流れています。なぜオラクルはグーグルを訴えたのか、その裏にどのような思惑が隠れているのでしょうか？ その解説をPublickeyのゲストブロガーとして、ITジャーナリストの星暁雄さんに書いてもらいました。また、記事の要所には星さん自身のブログへのリンクがありますので、興味がある方は参照してみてください。 AndroidがJavaの特許と著作権を侵害している？ 2010年8月12日、OracleはGoogleを訴えた（関連記事）。Oracleの主張は「AndroidがJavaプラットフォームに関する特許と著作権を侵害している」というものだ。 一方Googleは翌8月13日に「訴訟には根拠がなく、Googleとオープンソース・コミュニティへの攻撃である」との声明を一部メディアを通して発表した（関連記事）。今後両社は全面対決するこ
Twitterが分散フレームワーク「Gizzard」公開！ Scalaで書かれたShardingを実現するミドルウェア
Twitterが分散フレームワーク「Gizzard」公開！ Scalaで書かれたShardingを実現するミドルウェア Twitterは独自に開発した分散フレームワークの「Gizzard」をオープンソースとして公開しました。GizzardはScalaで書かれたJavaVM上で動作するミドルウェアで、PHPやRubyといったWebアプリケーションからの要求を自動的にデータベースに分散することで、大規模で可用性の高い分散データベースを容易に実現するためのものです。 Gizzard：フォルトトレラントな分散データベースを実現 The Twitter Engineering Blog: Introducing Gizzard, a framework for creating distributed datastores Twitterのブログにポストされた「Introducing Gizzard
IT系上場企業の平均給与を業種別にみてみた 2010年版 ～ SIer／システム開発、パッケージソフトウェア企業編
IT系上場企業の平均給与を業種別にみてみた 2010年版 ～ SIer／システム開発、パッケージソフトウェア企業編 パッケージソフトウェアを提供しているパッケージベンダと、システム開発などのサービスを提供しているSIerではどちらが平均年収が高いのでしょうか。また、同じ開発でもゲーム開発を主に行っている企業はどうなのでしょうか。今回はそうした企業を比べ見てましょう。 この記事で紹介するデータは、Yahoo!ファイナンスの「業種別銘柄一覧：情報・通信」で公開されている情報通信分野の上場企業の従業員数、平均年齢、平均年収などの情報を収集し、独自の判断で細かい業種に分類、平均給与が高い順に並べてみたものです。 前回の、ネットベンチャー、ISP/ホスティング、SEO/SEM、アフィリエイト企業などに続き、今回はパッケージベンダ、SI/システム開発、ゲーム開発、モバイル関連の企業についてみていきまし
クラウド事業者のためのオープンソースプロジェクト「OpenStack」
クラウドのプラットフォームとなる、スケーラブルな計算システムと分散オブジェクトストアなどのソフトウェアをオープンソースとして開発しようという「OpenStack」がスタートしました。 OpenStackの中心となったのは、クラウド事業者のRackspace HostingとNASA（アメリカ航空宇宙局）。そのほか、デル、シトリックス、NTTデータ、インテル、AMD、RightScaleなど多くの企業が参加を表明しています。 OpenStackのWikiには、ミッションが次のように記されています。 to produce the ubiquitous Open Source Cloud Computing platform that will meet the needs of public and private cloud providers regardless of size, by
マイクロソフトに厳格な一家を襲う悲劇。Javaよ永遠なれ
いまさらJava対.NETはちょっとテーマとして古くないかな？ とは思うものの、とても面白いビデオが公開されたので紹介します。「Java 4-ever」という映画のトレーラー、という設定のおもしろビデオ。 9月8日にノルウェイのオスロで開催されるイベント「JavaZone 2010」の宣伝のために作られたようです。こんなストーリー。 Java 4-ever Trailer 父親は寝る前に息子にマイクロソフトテクノロジーのすばらしさをおとぎ話のように語る。その父に子どもは無邪気に問いかける。「パパ、どうしていつも.NETなの？」 父親の顔色が変わる。「さあ、もう寝る時間だ」 少年は青年となり、禁じられた技術をこっそり友人と試すようになる。「こいつはスゲー、ロバストで、セキュアで、ポータブルで、スケーラブルじゃんか！」 そこへ父親の監視の目が光る「お前たち、Javaやオープンソースを使ってたり
グーグルがWebを高速化するために何をしているか
本のページをめくるように、どんなWebページも素早く表示できるようにする。グーグルは以前からWebの高速化に取り組んできました。 6月22日から、米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」では、グーグルのUrs Hölzle氏がWebの高速化技術について「Speed Matters」（スピードの重要性）というセッションで紹介ています。 Webを高速化するためにどのような技術があり、あるいはどのような技術が検討されているのか、このセッションの内容を紹介しましょう。 スピードは重要だ 私が話そうとしているのは、「Speed matters｣（スピードの重要性）についてだ。Webは空飛ぶジャガイモより速くなれるだろうか？ どのくらい速くなれるだろうか？ （参考：オペラがやってくれた！ グーグルの空飛ぶジャガイモに対抗）
Twitterの大規模システム運用技術、あるいはクジラの腹の中（後編）～Twitterのサブシステム「Unicorn」「Kestrel」「Flock DB」
Twitterの大規模システム運用技術、あるいはクジラの腹の中（後編）～Twitterのサブシステム「Unicorn」「Kestrel」「Flock DB」 米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」の、Twitterのシステム運用について説明するセッション「In the Belly of the Whale: Operations at Twitter」（クジラの腹の中：Twitterでの運用）を紹介をしています。 この記事は「「Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」」の続きです。 Twitterのサブシステム「loony」「Murder」「memcached」 ここからはTwitterのサブシステムについて紹介しよう。 T
クラウド構築ソフトのEucalyptus 2.0がリリース。Windowsのプライベートクラウド構築やSANもサポート
クラウド構築ソフトのEucalyptus 2.0がリリース。Windowsのプライベートクラウド構築やSANもサポート 仮想マシンをまとめて管理することで、Amazonクラウド互換のプライベートクラウドを構築できるソフトウェア「Eucalyptus」の新バージョン「Eucalyptus Enterprise Edition (EE) 2.0」が発表されました。 EucalyptusはAmazonクラウドとAPI互換のクラウドを実現するためにオープンソースとして開発されたソフトウェア。それを基に商用ソフトウェアとして販売されているのがEucalyptus Enterprise Editionです。 Eucalyptus Private Cloud Software Now Supports Windows Virtual Machines - June 16, 2010 | Eucalypt
オレサマHTML5はごめんだ
デベロッパーのあいだでHTML5の重要性が高まってくるにつれ、各ブラウザベンダは自社のブラウザがHTML5にいかに対応しているか、あるいは今後すばらしい実装計画があるか、といったことをアピールし始めました。 Webの新しい標準となることが決定的とされているHTML5に、多くのベンダが注目し、競うように実装を進めていることは歓迎すべきことです。これからのWebが1つの標準に基づいた高い互換性と、競争によってより品質の高いソフトウェアの提供が行われると期待できます。 しかしその一方で、行きすぎた競争による残念なことも起きています。 わざと誤解を与えようとするアップル アドビのFlashはクローズで、HTML5はオープンだ、と言ったスティーブ・ジョブズ氏率いるアップルが「HTML5 Showcase」と銘打ったWebサイトのデモンストレーションコーナーを開設。しかし、「HTML5 and web
「HTML5は優先順位を間違った。もういちどセキュリティの設計からやり直すべきだ」と語るJavaScript大家のDouglas Crockford氏
「HTML5は優先順位を間違った。もういちどセキュリティの設計からやり直すべきだ」と語るJavaScript大家のDouglas Crockford氏 「HTML5の最大の問題は、優先順位を間違ったことだ。機能について議論する前に、セキュリティの扱いについて検討すべきだった」こう語るのは、JSONの発明者として知られ、Yahoo!のシニアJavaScriptアーキテクトでもあるDouglas Crockford氏。5月4日に行われたオライリーのWeb2.0 Expo 2010でのインタビューでのことです。 「もうそれを議論するには遅すぎるという人もいるが、そうは思わない。正しいことをするのに遅すぎることはないのだから」（Crockford氏） Crockford氏はHTML5は機能が重複しすぎていることも指摘しています。「Local StorageとLocal Databaseの両方が本当
HadoopはBI市場の破壊的テクノロジーになる
「Big Data」という言葉を見かけることが最近増えてきました。数テラバイトなど大規模なデータを表す言葉です。 このBig Dataをデータを分析し、有用な情報を見いだしてビジネス上の意志決定に活かそうというのがBI（ビジネスインテリジェンス）ですが、BIを実現するためにデータウェアハウスを構築し、OLAPなどの分析ソフトを導入するためのシステム構築は非常にコストのかかるものでした。大規模なデータを保存すること、そしてそれを高速に分析するためには高価で高性能なハードウェアとソフトウェアが必要でした。 そのBIの分野で新たなテクノロジーとして注目されているのがHadoopです。HadoopはBig Dataの保存と分析を、安価なコモディティサーバの集合体で実現します。その点が従来のBI市場にインパクトを与えつつあり、先月、BIツールとHadoopを統合しようとする動きが相次いで顕在化しまし
NoSQLを上回る性能のVoltDB、そのアーキテクチャとは
データベース研究者の大御所、マイケル・ストーンブレイカー氏が開発し、NoSQLデータベースをも上回る性能を発揮するリレーショナルデータベース「VoltDB」。前回の記事では、その特徴と、NoSQLデータベースのCassandraとのベンチマーク比較を紹介しました。 今回はVoltDBのアーキテクチャについて調べたことをご紹介しようと思います。基本的にはVoltDBのWebサイトやリンク先の内容を基にしています。また、ブログ「独り言v6」のエントリ「VoltDB登場 – RDBMSのようでRDBMSではない新システム」も参考にさせていただきました。 シェアドナッシングな分散インメモリデータベース VoltDBのアーキテクチャは、FAQのページで以下のように説明されています（英語を訳したものを引用しています。以下同じです）。 VoltDBは、シェアドナッシングなサーバ群から構成されるスケーラブ
データセンターで大声を出してはいけません
とても面白いビデオ「Shouting in the Datacenter」を見つけたので紹介します（公開されたのは2008年12月のようです）。 サン・マイクロシステムズ（当時）のFishworksチームに所属するBrendan Gregg氏。「面白い発見をしたんだ！ マネするのはオススメしないけど」。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
