[T-6]MapReduceをAzureで実装してみたデモ。ないものはつくるしかない。：Azureの鼓動：オルタナティブ・ブログ
ないものはつくるしかない。ソフトウェア開発者の基本姿勢としては正しいと思う。 Windows AzureにHadoopのようなMapReduce処理を肩代わりしてくれるフレームワークが 内包されていればそれはそれで便利かもしれないが、ないものは嘆いても仕方ない。 マイクロソフトが開発者に活躍の余地を残してくれていると前向きに考えてみてもらえると ありがたいのだが、さすがにインスパイアするための呼び水は必要だろう。 ということで、先日マイクロソフトMVPのみなさまを対象としたOpenDayというイベントで ご紹介させていただいたAzureでMapReduceを実装してみたデモの概要を、このブログでも 簡単にとりあげてみたい。先にネタバレしておくと、これは我々のカウンターパートである マイクロソフト本社のアーキテクトエバンジェリストWade Wegnerが中心となって 作成したもので、日本にも
![[T-6]MapReduceをAzureで実装してみたデモ。ないものはつくるしかない。：Azureの鼓動：オルタナティブ・ブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/3ebe369ecdb5c64397937f9b36394e29aa11c31f/height=288;version=1;width=512/https%3A%2F%2Fblogs.itmedia.co.jp%2Fmt-static%2Fsupport%2Fassets_c%2Fuserpics%2Fuserpic-138-100x100.png)
Hadoop Streaming で外部ファイルを扱う方法のまとめ - (ﾟ∀ﾟ)o彡 sasata299's blog
2010年05月06日09:21 Hadoop Hadoop Streaming で外部ファイルを扱う方法のまとめ Hadoop Streaming での外部ファイルの扱いもだいぶ固まってきました。発表資料のスライドではこの辺の話を書いたことがあるんですが、ブログには書いてなかったので一度きっちりまとめておこうかなーっと。というわけで今回は Hadoop Streaming での外部ファイルの読み込みについてまとめますよ！(*ﾟДﾟ)=3 ﾑﾊｰ そもそも外部ファイルの読み込みと言っても、この二つのパターンがあります。 1) 外部ファイルが master 上にある（つまりローカルディスクにある）場合 2) 外部ファイルが別ファイルシステム（S3 だったり HDFS だったり）にある場合 外部ファイルが master 上にある場合 まず、この場合はとても簡単です。例えば hoge.txt と
Kansai.pm での発表資料 (Hadoop Streaming で MapReduce) - naoyaのはてなダイアリー
Kansai.pm に参加しました。とても楽しかったです。自分も "Hadoop Streaming で MapReduce" という題目で発表しました。取り急ぎ、資料を以下に公開します。 http://bloghackers.net/~naoya/ppt/080530kansaipm.ppt MapReduce は Google のバックエンドで動いている分散並列バッチ処理システムです。GFS は Google の分散ファイルシステムです。Google ウェアのクローンとしてオープンソースで開発されているのが Hadoop。Hadoop は Yahoo! Inc や Facebook, Amazon.com などでも利用されているとのこと。Hadoop は Java ですが、Hadoop Streaming を使うと Java 以外でも MapReduce できます。 以下のエントリも合
MapReduceメモ - プログラマの思索
小川 明彦, 阪井 誠 : チケット駆動開発 日本のソフトウェア開発の現場で生み出された「チケット駆動開発」という概念を、数多くの実例を元にモデル化・体系化を試みた最初の本。 小川 明彦, 阪井 誠 : Redmineによるタスクマネジメント実践技法 Redmineによるチケット駆動開発の実践技法に関する最初の本。アジャイルなソフトウェア開発への適用方法、TestLinkによるテスト管理手法についても言及。 清水 吉男: 「派生開発」を成功させるプロセス改善の技術と極意 組込システム開発をベースとして、ソフトウェア開発特有のスタイルである派生開発、特にXDDPについて解説した世界でも稀な本。既存製品を保守するのではなく継続的に機能追加していく昨今の開発では、派生開発特有の問題を意識しなければならない。XDDPはプロセス論だけでなく、要件定義などの上流工程の品質改善にも役立つので注意。 Le
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
