次世代Hadoopの特徴は、 MapReduce 2とGiraph Hadoopの父に聞く、HadoopとClouderaの現在・未来 有限会社オングス 後藤 大地 2011/9/15 ■ 増え続けるHadoop活用企業 大規模データの分析に、Javaのフレームワーク「Apache Hadoop」（以下、Hadoop）を採用する事例が増えている。HadoopはMapReduceの実装系の1つで、特にログデータ解析やリサーチ目的の大規模データ分析や計算などに活用されている。TwitterやFacebook、mixi、LinkedIn、Groupon、Amazon、eBay、Yahoo!、楽天、クックパッド、リクルート、ディー・エヌ・エー、サイバーエージェントなどのいわゆるWebサービス系企業だけでなく、NTTデータ、Amazon Web Services、国立国会図書館、EMC、PFI、ウル

ストックのデータからフローのイベントへ――ビジネスのリアルタイム化にともなって、新しいIT活用モデルが徐々に浸透し始めてきた。「Progress Apama」が実現する“イベントストリーム処理（Event Stream Processing：ESP）”が、この変化をリードしている。 業務プロセスの中で発生する「イベント」によって駆動するシステムアーキテクチャを「EDA（Event Driven Architecture＝イベント駆動型アーキテクチャ）」と呼ぶ。このEDAを実現するテクノロジとして期待されているのが、イベントストリーム処理だ。これとほぼ同義のものとして、「CEP（Complex Event Processing＝複合イベント処理）」がある。これは、米ガートナーがEDAとともに提唱し始めた次世代のコンピューティングモデルである。 ここに、はるか以前からイベント処理に注目していた

2010/05/22 グーグルは5月20日、開催中のGoogle I/Oでクラウド型ストレージサービス「Google Storage」（GS）のベータテスト開始をアナウンスした。グーグルはこれまでAppEngineを提供してきたが、Amazon S3のようなストレージサービスはなかった。 現在GSは米国在住の一部の開発者に限定したサービスで、保存したデータは米国内の複数のデータセンター間で冗長化される。価格は1GB当たり1カ月17セント。データ転送にもコストがかかり、アップロードは1GB当たり10セント、ダウンロードは15～30セント。限定サービス期間中は容量に制限があるが、正式サービスとなってからは利用容量の上限はないという。グループ単位のアクセスコントロールやアップロードのレジューム機能などにも対応する。 RESTful APIのほか、Webブラウザから利用できるファイル管理画面や、コ

2009/11/11 グーグルは2009年11月10日、Cのようにシステム記述に適したプログラミング言語「Go」をBSDライセンスの下に公開した。C++のようなC言語の拡張ではないが、Cに似た構文が特徴で、ガベージコレクタ（GC）や並列プリミティブ、イテレータ、実行時リフレクションなどを備えた新しい設計が目を引く。Goはグーグルの社員7人が「20％の自由時間」を利用して開発した。設計・実装を行っているのが分散OS「Plan 9」の創案者であるロブ・パイク氏や、Unix、Cの生みの親、ケン・トンプソン氏、Google ChromeのV8エンジンを開発したロバート・グリースナー氏など錚々（そうそう）たるメンバーで、こうした点でも注目を集めそうだ。 グーグル社内では、まだGoを使っていないが、今後はWebサーバなどのシステム関連のソフトウェアで実用を検討しているという（Goのオフィシャルサイトは

2009/09/17 グーグルは9月15日、Java 1.6向けのコアライブラリ「Guava」のソースコードをApache2.0ライセンスで公開した。Guavaはグーグル社内のJava関連プロジェクトの多くで使われているという。APIのドキュメントと概要説明資料も同時に公開されている。JDK6で使えるほか、AndroidやGoogle App Engineでもおそらく使える、としている。 これまでグーグルは自社プロダクトで使っている基盤技術として言語非依存のシリアライザ、「Protocol Buffers」やC++向けモック・フレームワーク「Google C++ Mocking Framework」、メモリ管理・パフォーマンス解析ツールの「Google Performance Tools」などを公開してきた。Java関連ではAjaxツールキットの「Google Web Toolkit」、D

2009/07/17 グーグルのChromeチームは7月16日、Chromeの自動アップデートで使われるバイナリアップデートに新たなアルゴリズムを実装したことを明らかにした。実際の例として、実行形式のフルアップデートで10MBの容量が必要だったものが、従来の差分方式で704KB、今回発表した新方式では78KBにまで縮小したという。 Chromeには自動アップデートの仕組みが組み込まれており、脆弱性の報告などがあると、これに対応するパッチを当てたバージョンをChromeユーザーにプッシュすることができる。これにより攻撃者が脆弱性を利用する時間が短くなるため、安全性が高まる。 セキュリティパッチなどは、ソースコードレベルで数行の変更であることも多いため、新バージョンの実行バイナリを丸ごとユーザーに送りつける代わりに、差分だけ送ることで転送量を抑えることができる。これまでChromeチームではb

2009/05/21 アカマイは5月20日、同社が全世界に配置しているコンテンツ配信用プラットフォーム「Edge Platform」の機能を拡張し、Webアプリケーションファイアウォール（WAF）モジュールを搭載することを発表した。これにより、データセンターに置かれているオリジナルのサーバに届く前に、クラウド側で攻撃を検出、ブロックできるという。 アカマイでは、世界70カ国に約4万8000台のEdge Platformを配置し、インターネットを介したコンテンツの高速配信サービスを提供してきた。Edge Platformではさらに、オンラインショッピング事業者向けにいくつかのツールキットを提供しており、アクセスしてきたユーザーの属性に応じて優先順位付けを行ったり、キャンペーンと連動したコンテンツを提供するといった、きめ細かなサービス提供が可能という。 新たに提供されるWAFモジュールも、この

2009/02/26 memcachedに似たキーと値の対を保存するタイプの新しいデータベース「Redis」がGoogle Codeで2月25日にベータ版として公開された。開発したのは、イタリア人でフリーランスの開発者、Salvatore Sanfilippo氏。同氏はイタリアでソーシャルブックマークサイトやソーシャルニュースサイトを立ち上げた経験があり、現在はWebサイトの訪問者をリアルタイムで追加表示するステータス情報取得サービスを開発中という。 Redisのソースコードは、GPL2のライセンスで公開されている。ANSI Cで書かれていて、LinuxやMac OS Xを含む多くのPOSIXシステムで動く。現在、PHPやRubyのクライアントライブラリを開発中という。 Redisはmemcachedのようにキーと値の対を、すべてメモリ上に保存する。ただし、memcachedと異なり、同時

2008/11/11 2006年11月11日にプレイステーション3が発売されてから、今日（2008年11月11日）で、ちょうど2年。PS3は新世代ゲーム機ということのほかに、ソニー、東芝、IBMの3社が共同開発した並列計算向けプロセッサ「Cell Broadband Engine」（Cell）が話題となった。このCellをHPC（High Performance Computing）に活かす動きが国内で静かに始まっている。 「2004年、まだプロセッサがないころからエミュレータを使ってソフトウェア開発に取り組んできた。今年はCellの民生利用が始まっており、組み込み用途でも利用が始まっている。来年2009年には花が咲く」 こう語るのはCellを使ったシステム構築支援を行うフィックスターズ 代表取締役社長 CEOの三木聡氏だ。CellはOSや資源管理に使う汎用のPowerPCアーキテクチャの

私がプログラミングを始めたのは中学校３年生のときでした。父が買ってきたシャープのポケットコンピュータ（PC-1210）でBASICを使うようになったのです。わずか400ステップしか入力できない小さなコンピュータでしたが、それでも自分の命令したとおりに動作するポケコンを見ていると、自分にはなんでもできるようなそんな「万能感」を感じさせてくれました。 それから四半世紀以上たちましたが、私がプログラミングから感じる「わくわく」は少しも減ることはありません。むしろ、どんどん増えているように感じます。長いプログラム経験を踏まえて、いま、感じるのは、 プログラミングは人生だ ということです。プログラムには人生のあらゆる側面が詰め込まれています。文字どおり、人生そのものといってもいい過ぎではないでしょう。……うーん、やっぱり、いい過ぎかな。 プログラミングはスポーツだ 皆さんの多くは若いときにスポーツに

第2回　メインフレーム温故知新 Linuxがメインフレームの上でどう動作するかをきちんと理解する前提として、今回は、メインフレームそのものの特徴を解説します（編集局） 日本アイ・ビー・エム株式会社 システムズ＆テクノロジー・エバンジェリスト 北沢 強 2008/7/23 前回「メインフレームでLinuxが動くまで」では、メインフレームがいったいどういうもので、なぜそこでLinuxを動かすことになったのかという経緯と、それがもたらす価値について説明しました。 今回は、その上でLinuxがどう動作するか……をきちんと理解するためにも、いったんLinuxから離れ、メインフレームそのものの特徴について解説していきます。ただし、限られた誌面でメインフレームのすべては語り尽くせませんので、Linuxが稼働するうえで関係する部分、主にハードウェア・アーキテクチャを中心に取り上げてみたいと思います。 メイ

「ext3は……古くて遅い。次バージョンのext4も基本的にext3と同じ問題を抱え込んでいる。ext4で解決されるext3の欠点は一部に過ぎない」。7月9日にLinux Foundation Japanの主催で行われたシンポジウムで講演した米グーグルのアンドリュー・モートン氏は、こう話し、現在Linuxはファイルシステムに課題を抱えていると指摘する。 Linuxで使われているファイルシステムにはいろいろあるが、現在最も広く使われているのはext2の後継として開発されたext3と呼ばれるファイルシステムだ。耐障害性のあるジャーナリング・ファイルシステムとして、ext3以外にもJFS、ReiserFS、XFSなどがLinuxでサポートされているが、これらはデ・ファクト・スタンダードとして利用されているext3に比べるとマイナーな存在だ。「XFSはパフォーマンスは良いが、サポートが十分ではなく

2008/06/05 ネットワンシステムズは6月5日、米3teraと独占販売代理店契約を締結し、商用グリッドOS「AppLogic」の国内販売を開始したと発表した。AppLogicをインストールした複数のサーバをギガビットイーサで接続するだけで、CPU、メモリ、ストレージ、帯域のリソースプールを作成し、Webアプリケーションに必要な要素を柔軟に提供できる。月額ライセンス費用は、8台の標準的なサーバ構成で40万円から。 ファイアウォール、ロードバランサ、Webサーバ、データベース、ストレージなどの各要素は、仮想アプライアンスとしてWebブラウザ上でアイコン表示される。ユーザーは、これらのアイコンを操作することで、各仮想アプライアンスの設置と接続、リソースの割り当てが行え、Webアプリケーションの稼動環境をオンラインで容易に構築できるようになる。 また、ユーザー自身が構築したアプリケーションシ

2008/06/04 翔泳社は6月4日、同社が運営する開発者向けの媒体「Codezine」（コードジン）で、「開発者注目のはてなブックマーク＠CodeZine」を開始した。 開発者注目のはてなブックマーク＠CodeZineは、はてなブックマークに掲載されているプログラミングや開発に関するタグだけを集約し、関連するブログ記事をCodezineのサイト上に掲載するサービス。技術動向の移り変わりが激しいIT業界で、開発者が新しい技術や注目の話題についていきやすくするために作った。 開発の経緯について、同社 メディア推進部はこう述べる。「はてなブックマークが始まった当初は、技術のネタに溢れていた印象を受けたが、はてなブックマークが一般に浸透するにつれ、技術系以外の情報が増えた。開発者が技術の情報だけを見られるページがほしいと思った」。 はてなブックマーク＠CodeZineが軌道にのれば、同社が提供