Hadoopの標準インターフェース　hadoop xx xxxx ってのは対話式じゃないので、ちょっと使いにくい。 PigはHadoopのサブプロジェクトで、Hadoopを対話的に操作することが可能なインターフェースと、 MapReduceを効率的に行うための専用言語環境を提供してくれる。 Yahoo！なんかでも使われているっぽい。 Pigの素晴らしいところは、LISPのREPLのように、書いたコードをその場で実行しながら確かめられること。 ■事前準備 完全分散モードのHadoop環境が必要なので構築しておく。 Hadoop (3) 完全分散モード ■参考ページ きりんさん日記 1台でHive, Pigを試してみる(Ubuntu + Cloudera) （１）Pigの入手する ftp://ftp.meisei-u.ac.jp/pub/www/apache/dist/hadoop/pig/

2010年07月07日22:38 Hadoop 大規模なデータセットを効率的に扱うための Pig 超入門 Pig あるじゃないですか。Hadoop のラッパーで、DSL で書けるというアレです。 最近は Twitter や Yahoo! などで使われているらしき Pig。Hadoop を扱う場合、mapper と reducer をそれぞれ記述する必要がありますが、この Pig を使うと DSL を書くだけで内部的に処理を mapper, reducer として実行してくれます。その結果、記述量が減って開発時間が短縮できるというメリットがあります。アイコンがもう少し可愛ければ、、と思うと残念でなりません。なんだこのドヤ顔は・・ 今まで「良さそうだなー」と思いつつ触れていなかったのですが、今回触ってみる機会があったので軽くまとめておきます。※Pig を動かす環境については出来ている前提です。

昨日、Webkit & Opera/HTML5勉強会で紹介したwebsocket&MeCabによる「坊ちゃん」への自動ルビ（ふりがな）振りデモですが、よくよく考えたら「pipelineってことは、解析リクエストの結果が返るのを待ってたらダメじゃん」ってことで、こちらのデモをwebsocket pipelineに替えてみました。 すなわち、文単位の解析依頼をとにかく送りつづけて（解析結果が返ってくるのを待たずに）、どれぐらい高速化するか見てみようというわけです。そもそも、websocketは、好き勝手に送受信できるプロトコルなので、pipeline処理にはうってつけだよね！ってことで。 あと、テキストマイニングと言えば、「やっぱり基本はわかちでしょ」ということで、websocket pipelineを使ったわかち書きのサンプルも作って見ました。 コードは、http://code.google