タグ

ブックマーク / oss.infoscience.co.jp (1)

  • Welcome to Pig!

    Pig は、大規模なデータセットを分析するためのプラットフォームで、データ分析プログラムを記述するための高水準言語を構成要素とし、データ分析プログラムを評価するためのインフラストラクチャも備えています。Pig プログラムの最大の特徴は、大規模な並列処理に対応できる構造を持っていることで、このような特徴のゆえに、大規模なデータセットを処理することができるようになっています。 現在、Pig のインフラストラクチャを構成するコンパイラは一連の Map-Reduce プログラムを生成しますが、これらのプログラムを動作させるための大規模な並列実装 (Hadoop サブプロジェクトなど) はすでに存在しています。現時点で Pig の言語レイヤを構成しているのは、Pig Latin と呼ばれるテキストベースの言語で、次のような特徴があります。 容易なプログラミング。単純でありながら「嫌気がさすほど並列的

  • 1