今回は、4台のサーバーからなるHadoopクラスタの構築手順を紹介します。10台程度までは、そのまま計算ノードを増やすことができますので、本格活用に向けた実験を始めるのに最適な構成です。 「Hadoopは安価なコモディティ・サーバーを使用する」と説明されることがありますが、これは、あくまで標準的なx86サーバーを使用するという意味です。大量のデータを高速に処理するには、それなりのスペックが必要で、Hadoopのデフォルト設定では、8コアのCPUと8GBのメモリーを搭載したサーバーが想定されています。 Hadoopの導入手順 ここでは、図1の4台のサーバーを使用します。ホストネームは、管理ノードがhdpmgmt01、計算ノードがhdpnode01～03です。それぞれ、4コアのCPUと4GBのメモリーを搭載したサーバーとします。異なるスペックのサーバーの場合は、後述の設定パラメータを変更してく

「Hadoop」は、米Google社が考案した分散データ処理技術「MapReduce」をオープンソース・ソフトウエアで再実装したものです。Web系企業では、ユーザーのアクセスから得られる膨大なデータを解析するツールとして定着が進んでいます。最近ではWeb系以外の一般企業でもHadoopの活用が検討されてきています。 今回は、企業システムでHadoopを利用する意義と、ペタバイト・クラスのデータ処理を実現するHadoopの実装を解説します。 Google論文の衝撃 HadoopやMapReduceは「安価なサーバーで大量のデータを高速処理」「バッチの処理時間が劇的に短縮」などと紹介されています。とても高度な技術ととらえている方もいるかもしれませんが、実はそれほど複雑なものではありません。 MapReduceは、Googleが2004年に論文(http://labs.google.com/pa

分散 Key-Value ストア mio-0.0.1alpha をリリースしました。(mio-0.0.1-alpha.tar.gz) Mio とは何か？ 範囲検索(range query) が出来る KVS です。例えば「key が "1000"〜"2000" にあるものを昇順に10件取り出す」という検索が可能です。 Mio は memcached 互換プロトコルを実装しているので、多くのプログラミング言語から簡単にアクセスする事が可能です。（後述のコード例参照） Mio のアーキテクチャ Mio は Skip Graphs（スキップグラフ）というアルゴリズムに基づいて実装されています。詳細はErlang 分散システム勉強会での発表資料 Mio - a distributed Skip Graph based orderd KVSをご参照ください。 インストール 最新の Erlang をイ

第五回 Erlang 分散処理勉強会ですが、皆さんにご助力頂き、無事終了いたしました。 発表者の皆様、運営にご協力頂いた皆様、会場をご提供頂いた日本オラクルの皆様、本当にありがとうございました。 懇談会について 今回は、開始時間が遅かったので懇談会を行いませんでした。 @ymotongpoo さんのご好意で少しだけ会場利用時間を延長し、雑談時間を設けさせて頂きましたが、まだまだ、皆様、話足りない様子でしたので、やはり懇談会は必須であると痛感しました。 今後は、懇談会を行えるように調整しようと考えております。 発表者について 申し訳ない事に、連投している発表者の方々がいらっしゃるので、そろそろ別の方々に発表して頂こうと考えております。 事前懇談会 今回は、今後の運営をどうしましょうか…という相談を行う場として考えておりましたので少人数で募集を行いました。 特に場所の確保を行わず、適当に集合場

The document lists the competitive career details of Japanese baseball player Shigeo Nagashima from 1960 to 1975. It notes that he played for the Yomiuri Giants baseball team throughout his career, winning several Japan Series championships and batting titles. He was inducted into the Japanese Baseball Hall of Fame and Museum in 1980.Read less

先日久しぶりに旧友Ｉ氏と会食しました。 彼は男子高時代、一緒に授業をさぼり喫茶店や雀荘で遊んだりした私の悪友でして、まあ３０年来の腐れ縁というやつであります。 今ではおたがい４０代のオヤジでありまして社会的にもそれぞれしかるべき地位を与えられる身分になっております。 高校時代は一緒に授業をさぼったたりしてた決して優等生とは言えない私たちでしたが、なぜかＩ氏は卑怯（？）なことに真面目に勉強しなくとも成績が良く、有名大学に進学後、今では日本経済新聞の役職記者なのであります。 で久しぶりに会食したのですが、渡された名刺を見てまた驚いたのでありますが、役職がまた昇格しているのであります、相変わらずずるい男だ（苦笑） 朝日であれ産経であれＴＶにしろ、基本的に日本のマスメディアには批判的に対峙することをモットーとしている当ブログですが、マスメディアの内情については、このＩ氏と某民放キー局の政治部の友人

「直感を信じろ、自分を信じろ、好きを貫け、人を褒めろ、人の粗探ししてる暇があったら自分で何かやれ。」を書いてから二週間。休暇で海外に出ていたのでしばらくこのブログを更新できなかったが、その間の膨大な反応も、帰国してから全部読んだ。 僕の本やブログをずっと読んでくれている人には「言わずもがな」かもしれないけれど、あの短いエントリーを単体で読むだけだと誤解を招くだろう部分が「好きを貫く」ことの難しさ、厳しさだ。 人生の幸福とは「好きを貫いて生涯を送ること」だと僕は思っている。「好きを貫いて生涯を送ること」は素晴らしいことだ。人からどう見えるとか、他人と比較してどうこうという相対的基準に左右されるのではなく、自分を信じ、好きを貫く人生を送ること。本当の幸福とは、そういう心の在り様にこそあると、僕はそう信じているから、若い人達に、そんなに簡単に「好きを貫く」ことを諦めてほしくない。でも「簡単だから

musicovery-02.no-sec.com

Get more out of Gmail thirty different waysというエントリーより。 Techie love site MakeUseOf.com has come up with thirty different Gmail-related tools and hacks, from “seen that already” to “Oh. My. God.” Lifehackerで「Gmail Craze: 30 + Tools and Hacks for Gmail」というエントリーが紹介されていました。Gmailに関連したツールやハックがまとめられています。 Firefox機能拡張、Greaseamonkeyスクリプト、デスクトップアプリケーション、ウェブツール、Tipsとハックとしてそれぞれまとめられています。詳しくはリンク先のエントリーでご覧ください。 つ

Kindleセール 【Kindleセール】30%オフ・1,000冊以上「双葉社 フタスペ！2024夏の終わりのコミックセール」小林さんちのメイドラゴン・野原ひろし 昼メシの流儀・GROUNDLESS・夢ヶ原さんは夢見がち・月出づる街の人々・カワセミさんの釣りごはんなど（10/1まで）