MapReduceとHadoopとPythonとmecab - 涼風庵 楡非常に色々と応用が利きそうで面白かったので自分用のメモ。 昔の専攻がらみで焼けぼっくいに火が付きそう。 HadoopのMapReduceとPythonとmecabを組み合わせてテキストマイニングの取っ掛かりのお話。 条件としては 分散のHadoop環境が構築できていること データノードでpythonが正常に動くこと データノードにmecabがインストールされていること。 です。 Hadoop構築はHadoopのドキュメントを参照しました。 Hadoopで動くPythonのMapReduce環境はこのblogを参照しました。 mecabはmecabの公式ドキュメントを参照しました。 環境構築の話を書くと長くなるので端折ります。 実行したmapperが以下のスクリプト mapper.py #!/usr/local/bin/python # -*- coding: utf-8 -*- impor
