Mac上で手軽にMapReduceする環境を構築するメモ - nozaq's diary
Macのローカル上で手軽にMapReduceジョブ開発をしたくなったので色々やってみた. Cloudera社がHadoopが動作するLinuxのVMイメージを提供しているので, Macの環境を汚さずにHadoop環境がローカルに構築できます. CDH3のVMイメージをダウンロード. 僕はVMWare Fusion用をダウンロードしましたが、 VirtualBox用イメージもあるのでフリーで環境構築できるはず. CDH3用のHadoop Eclipse Pluginをダウンロード. Hadoop Eclipse PluginはHadoopをソースからビルドすると生成されるんですが（参考）,CDH3にバンドルされているHadoopとの接続に問題があるらしいので代わりにこちらをダウンロード. Hadoop Eclipse Pluginをインストール. eclipseホームディレクトリ以下のplu
EC2インスタンス上でnginxのログをfluentd経由でS3へ飛ばしてみる - nozaq's diary
このエントリでEC2インスタンスにfluentdをインストールした続き. EC2インスタンスのAMIはUbuntu Server Cloud Guest 11.10 64Bitを使用. nginxをインストール 公式ドキュメントを参考に, apt-get用リポジトリにnginxを追加. > cd work_dir # 適当な作業ディレクトリへ異動 > wget http://nginx.org/keys/nginx_signing.key > sudo apt-key add nginx_signing.key > sudo vi /etc/apt/sources.list ファイル末尾に下記リポジトリを追加. deb http://nginx.org/packages/debian/ squeeze nginx deb-src http://nginx.org/packages/debi
EC2インスタンス上でfluentdを動かしてみたメモ - nozaq's diary
EC2インスタンスのAMIはUbuntu Server Cloud Guest 11.10 64Bitを使用. パッケージはfluentdの安定版をRubyインタープリタ等込みでパッケージングしているtd-agentを利用する. fluentd(td-agent)をインストール Treasure Data社のDebian/Ubuntu用ドキュメントを参照しながらapt-get用のリポジトリを追加し,インストール(RedHat/CentOS用はこちら). > sudo apt-add-repository 'deb http://packages.treasure-data.com/debian/ lucid contrib' > sudo apt-get update > sudo apt-get install td-agent 動作検証 動作検証用に設定ファイルを下記のように編集する.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
