そろそろHadoopについてひとこと言っておくか - nokunoの日記
もうこの手の話題は出尽くした感がありますが、最近Hadoopについて考えることが多いので、エントリにしてみます。なお、ここではベーシックなMapReduce+HDFSのことをHadoopと呼ぶことにします。 HadoopとはHadoopとは言わずと知れたGoogleのMapReduce/GFSのオープンソースのクローンです。MapReduceではプログラマはMapとReduceという2つの関数を書くだけで、並列分散処理をすることができます。これは(1) データを実際に持つマシンにプログラムを配布する (2) MapとReduceをつなぐShuffleフェーズでキーをグループ化してソートする、(3) 障害時のフェールオーバーやレプリケーション、といった処理をフレームワーク側が受け持つことによって、プログラマ側の負担を減らすものです。GFSに対応するHDFSにはファイルをクラスタに分散して保存
開発時ビルドのバージョン番号の付け方に対するMavenとIvyの思想の違いについて - 達人プログラマーを目指して
Apache Ivyの紹介と基本的な使い方 - 達人プログラマーを目指してに関連して説明させていただきます。 Mavenに慣れている人がIvyを使うときに必ずつまづくポイントとして、開発中の中間ビルド時のバージョン番号の付け方に対する両者の思想の違いがあります。Mavenの場合は、規約により開発中のバージョンには「-SNAPSHOT」という接尾辞をつけ、次のリリースを行うまでは同じバージョン番号のまま既存のビルド結果を上書きしながら使い続けることが前提となっています。 一方、もともとIvyの思想では、バージョン番号はビルド内容と1対1に対応しているべきという考え方があります。ビルド結果の中身が違うのであれば、バージョン番号も異なるべきという考え方です。ですから、中間ビルド（Ivyの用語では結合ビルドと呼ばれている）のバージョン番号にタイムスタンプを付けるとか、インクリメンタルなビルド番号を
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
