タグ

ブックマーク / kuangue.hatenablog.com (1)

  • Pig on Hadoop - kuangueの日記

    Pigってのは,googleで言うところのsawzallに対応するようです.が,ちょっと見たところでは,Sawzallどころではなくて,もっと意欲的です.Sawzallは,MapReduce処理モデルに思い切り引っ張られているけど,Pigは,リレーショナル演算をHadoop::MapReduce上の処理に変換しようという割と壮大な試み.Hadoopは利用しているけども,完全に別プロジェクトでやっています.yahooで作られていたものをオープンソースにしましたということですね. たとえば,下のように書くことができるような言語になっています. VISITS = load '/visits' as (user, url, time); USER_VISITS = group VISITS by user; USER_COUNTS = foreach USER_VISITS generate gr

    Pig on Hadoop - kuangueの日記
    restartr
    restartr 2010/02/16
    pigとhbaseは違うものと。 ・pig=ロウベース&MapReduce ・hbase=カラムデータベース,HDFS(テキストファイル)
  • 1