本を読む GREE LabsでHadoopの話を聞いてきた
GREEさんで不定期でやってる、GREE Labsオープンソーステクノロジー勉強会で、Hadoopの話を聞いてきました。Hadoopは、つまりはGoogleのGFSやMapReduceのクローンだそうで、「Googleを支える技術」にトキメいた人なら必見ですね。 発表は、技術面を簡潔に押さえたうえでわかりやすく、そのうえ実際の利用事例の話も聞けたのが面白かったと思います。最近のWeb系では、サービス面でもマネタイズ面でも、データマイニングとか行動ターゲティングとかがアツいんだなぁと思いました。 プレゼン資料もust録画も公開されていますが、以下、自分のメモという意味で記録しておきます。 Hadoopについて（太田一樹） Preferred InfrastructureのCTOで、Sedueの作者。大量のデータの処理がテーマで、半分は酒でできているw。そんなこんなで、はてブ検索でも使われてい
第16回オープンソーステクノロジー勉強会 - moratorium
第16回オープンソーステクノロジー勉強会 2008-11-26 (Wed) 23:43 Hadoop | 勉強会 第16回GREE OSSテクノロジー勉強会でHadoopのお話をさせて頂きました。 第16回 オープンソーステクノロジー勉強会 第16回 オープンソーステクノロジー勉強会トラックバック一覧 前半は僕の方からMapReduceの簡単な紹介と実装。話を聞きに来られる方々の層が分かってなかったのですが、懇親会で話した方の様子を見てると、もうちょい進んだ内容でも良かったなと思いました・・・。 予め参加者のプロファイル(差し支えない範囲での所属や肩書き, ブログURL, などなど)を渡してもらえると発表者としては嬉しいかなとか思いました ＞ いちーさん、ふじもとさん 後半はohkura先生によるblogeyeの構築事例の紹介。個人でMax 80台まで使ってデータ処理をするという衝撃的な
『Hadoop解析資料公開』
本日、NTTレゾナント様と共同で作成したHadoop解析資料 を公開しました。 弊社でも、Sedueで利用されているインデックス保存用の分散ストレージなどを開発してきましたが、この分散ストレージは、Sedueの利用に比較的特化されているので、今回今後オープンソースの活用も視野にいれて、Hadoopの解析には積極的に取り組んでいます。 執筆者である太田は、CodeZineでHadoopの連載記事を掲載していますが、今回の資料は、よりHadoopの内部構造につっこんだ資料になっています。分散ストレージにおいては、使われる対象が、Webサービスのバックエンドなど、比較的高いアベイラビリティが必要な分野になるので、性能だけではなく、アベイラビリティを向上させるための機能も重要になってきます。今回の解析では、そのような機能も重点的にソースコードレベルで解析しています。 資料は、セミナー等で利用してい
Hadoop、hBaseで構築する大規模分散データ処理システム：CodeZine
はじめに この連載では、大規模分散計算フレームワーク「Hadoop」と、その上につくられた大規模分散データベース「hBase」の仕組みと簡単なサンプルアプリケーションを紹介します。HadoopとhBaseは、Googleの基盤ソフトウェアのオープンソースクローンです。機能やコンセプトについては、Googleが発表している学術論文に依っています。 これらの学術論文によると、Googleでは大規模分散ファイルシステム「Google File System」、大規模分散計算フレームワーク「MapReduce」、大規模分散データベース「BigTable」、分散ロックサービス「Chubby」という4つのインフラソフトウェアが使われています。 図1にGoogleの基盤技術間の依存関係、そしてそれに対応するOSSの対応関係を示しました。まずは対応するGoogleの基盤技術それぞれの機能や特徴をざっくりと
Hadoop
13. $ env | grep JAVA JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/CurrentJDK/Home $ java -version java -versionjava version quot;1.5.0_07quot;Java(TM) 2 Runtime Environment, Standard Edition (build 1.5.0_07-154)Java HotSpot(TM) Client VM (build 1.5.0_07-87, mixed mode, sharing) $ curl -O http://www.apache.org/dist/lucene/hadoop/stable/hadoop-0.13.0.tar.gz $ tar zxvf hadoop-0.13.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
