Hadoop (4) Pigによる対話的操作
Hadoopの標準インターフェース hadoop xx xxxx ってのは対話式じゃないので、ちょっと使いにくい。 PigはHadoopのサブプロジェクトで、Hadoopを対話的に操作することが可能なインターフェースと、 MapReduceを効率的に行うための専用言語環境を提供してくれる。 Yahoo！なんかでも使われているっぽい。 Pigの素晴らしいところは、LISPのREPLのように、書いたコードをその場で実行しながら確かめられること。 ■事前準備 完全分散モードのHadoop環境が必要なので構築しておく。 Hadoop (3) 完全分散モード ■参考ページ きりんさん日記 1台でHive, Pigを試してみる(Ubuntu + Cloudera) （１）Pigの入手する ftp://ftp.meisei-u.ac.jp/pub/www/apache/dist/hadoop/pig/
大規模なデータセットを効率的に扱うための Pig 超入門 - (ﾟ∀ﾟ)o彡 sasata299's blog
2010年07月07日22:38 Hadoop 大規模なデータセットを効率的に扱うための Pig 超入門 Pig あるじゃないですか。Hadoop のラッパーで、DSL で書けるというアレです。 最近は Twitter や Yahoo! などで使われているらしき Pig。Hadoop を扱う場合、mapper と reducer をそれぞれ記述する必要がありますが、この Pig を使うと DSL を書くだけで内部的に処理を mapper, reducer として実行してくれます。その結果、記述量が減って開発時間が短縮できるというメリットがあります。アイコンがもう少し可愛ければ、、と思うと残念でなりません。なんだこのドヤ顔は・・ 今まで「良さそうだなー」と思いつつ触れていなかったのですが、今回触ってみる機会があったので軽くまとめておきます。※Pig を動かす環境については出来ている前提です。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
