by Jeff Magnusson, Charles Smith, John Lee, and Nathan Bates We’re pleased to announce Lipstick (our Pig workflow visualization tool) as the latest addition to the suite of Netflix Open Source Software. At Netflix, Apache Pig is used heavily amongst developers when productionizing complex data transformations and workflows against our big data. Pig provides good facilities for code reuse in the fo

Hadoop環境用のアプリケーション開発やデータ操作を容易にする開発キットをClouderaが公開。「いまどき」のアプリケーション開発者に扱いやすい環境を整備する。 米Clouderaは、2013年5月7日、Hadoop用アプリケーション開発キット「Cloudera Development kit（CDK）」をGitHub上で公開した（リンク）。現在のバージョンは0.2.0。ライセンスはApache License V2を採用している。 CDKには、Clouderaの提供するHadoopディストリビューション用のアプリケーション開発を容易にするライブラリ群、ツール類、サンプルコード、ドキュメントが含まれる。 現リリースにはHDFSやローカルのファイルシステムに含まれるデータセットに対して「徹底的にシンプルに動作する」APIセットである「CDK Data module」が含まれる。 OSSで

Hadoopの最新状況 2006年、Hadoopはウェブのインデックス処理を行うために開発されました。その後さまざまな用途に利用されるようになり、それに伴いパフォーマンスの改善、セキュリティの強化、Hadoopを効率よく利用するためのエコシステムも多く誕生しました。今回は、そのうちのいくつかについて紹介します。 1) マスターノード単一障害点の解消 2) Impala - Hadoopの高速クエリエンジン 3) Hadoop運用管理ツール、Cloudera Manager 単一障害点(SPOF)の解消 Hadoopには単一障害点があるから怖くて使えない、という印象をお持ちの方はいらっしゃるのではないでしょうか？以前のバージョンのHadoopにはそのような問題がありました。（前回のコラムを参照）。単一障害点を解消するためにLinuxのクラスタソフトウェア(PacemakerやRed Hat