KLab-データ分析グループのblog : pythonでElastic MapReduce
2013年02月06日 カテゴリpythonHadoop pythonでElastic MapReduce まとめElastic MapReduceは、amazonのAWS上でHadoopを使えるサービスです。一時的にインスタンスをたくさん立ち上げることで、重めのバッチ処理を分散処理できます。料金はEC2インスタンス分 +αで使用できます。http://aws.amazon.com/jp/elasticmapreduce/#pricing 楽！ インスタンスいっぱいたちあげます、計算します、結果まとめますという一連の処理を気軽に書けて、コマンド一発で実行できます。特に集計処理、バッチ処理には便利です。ただデバッグは手間がかかります。 MapReduceについてMapReduceは、大量のデータを複数のマシンで分散して扱うための技術です(デザインパターン的な)。基本的な考え方は、処理を以下の
AWSコマンドラインツールのPython版をインストールした - okochangの馬鹿でありがとう
聞くところよにると、AWSのコマンドラインツールPython版が出たらしいという事で自分のMBAにインストールしてみました。 今年のブログは先日の投稿で終了のはずが、どこかの環境に改めてインストールする事があるかもしれないので、手順とか参考リンクをログとして保存しておこうと思います。 参考リンク（ありがとうございます） AWS Command Line Interfaceのページ aws-cliのGithubページ pipの使い方 MBAへインストール awscliはeasy_installかpipでインストール出来るようです。 今回はpipをインストールしてからawscliをインストールします。 pipのインストール $ sudo easy_install pipawscliのインストール $ sudo pip install awscli 設定 bash_profileにはこんな設定に
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python: Accessing elements from nested dictionaries a la SQL
