Hadoop/Storm の統合を実現する Twitter の SummingBird - Okapies' Archive
Twitter が SummingBird を正式リリースして早二ヶ月。「日本語の紹介記事がほとんど出てないな」と気付いたので、調査がてらまとめてみました。 SummingBird とは？ MapReduce なプログラムを書くための Scala/Java ライブラリ。最大の特徴は、ひとたび SummingBird で書いたジョブは Hadoop でも Storm でも同じように実行できること。 SummingBird では、Hadoop を使う「バッチモード」と、Storm を使う「リアルタイムモード」に加えて、二つを同時に実行する「ハイブリッドモード」がある。ハイブリッドモードでは、ジョブの作者が特に配慮しなくても、バッチとリアルタイムの処理結果を自動的にマージできる。 ハイブリッドモードでは、同じジョブを Hadoop と Storm で同時に実行できるので、Hadoop の耐障害性
AsakusaFW0.2.6の見どころ - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 Asakusa Frameworkの0.2.6がリリースされたので、個人的に興味があるところを見てみる。 まず、基本となる部分では、対象のHadoopのバージョンがCDH3u4になった。最近バージョンアップされた最新版ですね。 コーディングに関係するところでは、Direct I/OでSequenceFileが扱えるようになった。 と言っても、扱いたいWritableクラスとAsakusaFWのModelクラスとの各フィールドの移送は自分で書かないといけないけど。CSVと違って色々な型や形式が採れるので、プログラマーが指定せざるを得ない。 でもこのおかげで、例えばSqoopで生成するSeqFile・Writable等を自由に扱える。 あと、Direct I/Oで出力ファイル
Hadoopの最新安定版「Apache Hadoop 1.0.0」がリリースされる | OSDN Magazine
Apache Software Foundation（ASF）傘下のHadoopプロジェクトは12月27日、大規模データ向けの分散処理フレームワーク「Apache Hadoop 1.0.0」をリリースした。HBaseやWebHDFSのサポート、セキュリティやパフォーマンスの強化などが特徴となる。 Hadoop 1.0.0は従来安定版としてリリースされていたバージョン0.20系をベースとした、最新の安定版となる。Hadoopはそのほかにも0.22系および0.23系が平行してリリースされており、12月10日にはバージョン0.22.0が、11月11日には0.23.0がリリースされている。 Hadoop 1.0.0の新機能としてはバグ修正やセキュリティの強化に加え、ドキュメントの強化、HTTP経由でHDFSにアクセスするWebHDFSサポートなどが挙げられている。そのほか、パフォーマンスの強化も行
Go on Hadoop
It's easy to use Go (or any other language) with Hadoop streaming. Here's a little "word count" example. System Setup: Hadoop running locally (Cloudera cdh3u0) A copy of hadoop-streaming-0.20.2-cdh3u0.jar in local directory Copy of "Alice In Wonderland" under /user/miki/alice.txt on HDFS mapper.go reducer.go run-job.sh After the job has ran, you can view the output and check the most common words:
HBaseとはどんなNoSQLデータベースなのか？ 日本語で読める情報を集めてみた
Facebookが新しいサービス「Messages」の基盤として、NoSQLデータベースの「HBase」を選択したことを、先日の記事「Facebookが新サービスの基盤にしたのは、MySQLでもCassandraでもなく、HBaseだった」で紹介しました。 HBaseは、Facebookによると次のような特徴を備えていると説明されてます。 負荷に対して非常に高いスケーラビリティと性能を発揮 CassandraよりもシンプルなConsistency Model（一貫性モデル）を備えている 自動ロードバランス、フェイルオーバー、圧縮機能 サーバーごとに数十個のシャードを割り当て可能、などなど このHBaseはどのようなデータベースなのでしょうか？ 情報を集めてみました。 HBase入門のプレゼンテーション 最初に紹介するのは「HBaseエバンジェリスト」Tatsuya Kawano氏のプレゼン
NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
)
Running Hadoop On Ubuntu Linux (Single-Node Cluster) - Michael G. Noll
What we want to do In this short tutorial, I will describe the required steps for setting up a single-node Hadoop cluster using the Hadoop Distributed File System (HDFS) on Ubuntu Linux. Hadoop is a framework written in Java for running applications on large clusters of commodity hardware and incorporates features similar to those of the Google File System and of MapReduce. HDFS is a highly fault
HadoopでPython使ってテストしてみた - その１ - もちおのWEBアプリ開発日記
だいぶ乗り遅れた感はあるけどHadoopを試してみた。 環境はvm上のubuntu-9.10 サンプルは使用せずにmapperとreducerはPythonで書いてみました。 まず準備。 javaの確認。なんかの時に入れたのでインスコは省く mochi@ubuntu-vm:~$ java -version java version "1.6.0_0" OpenJDK Runtime Environment (IcedTea6 1.6.1) (6b16-1.6.1-3ubuntu1) OpenJDK Client VM (build 14.0-b16, mixed mode, sharing) 次、ユーザ作成。グループもhadoopにしてログイン。 mochi@ubuntu-vm:~$ sudo adduser hadoop ・ ・ ・ mochi@ubuntu-vm:~$ su - had
Disco MapReduce
Disco is a lightweight, open-source framework for distributed computing based on the MapReduce paradigm. Disco is powerful and easy to use, thanks to Python. Disco distributes and replicates your data, and schedules your jobs efficiently. Disco even includes the tools you need to index billions of data points and query them in real-time. Disco was born in Nokia Research Center in 2008 to solve rea
Hadoop 調査報告書
Hadoop 調査報告書 エヌ・ティ・ティ レゾナント株式会社 株式会社 Preferred Infrastructure 平成 20 年 8 月 25 日 • 免責条項 本報告書はエヌ・ティ・ティ レゾナント株式会社 (以下「NTT レゾナント」）と株式会社 Preferred Infras- tructure(以下「Preferred Infrastructure」) が作成したものですが、報告書の内容及び情報の正確性、完全性、 有用性について、NTT レゾナント及び Preferred Infrastructure は保証を行なっておらず、また、いかなる責 任を持つものでもありません。 本報告書の著作権は NTT レゾナントに帰属します。 本報告書の「プリントアウト」「コピー」「無料配布」は可能ですが、変更、改変、加工、切除、部分利用、要 約、翻訳、変形、脚色、翻案などは禁止します
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Jenkinsとhadoopを利用した継続的データ解析環境の構築
GitHub - mongodb/mongo-hadoop: MongoDB Connector for Hadoop
Hadoop入門 - White scenery @showyou, hatena
http://www.hadoopstudio.org/
liris.org
複数マシンへHadoopをインストールする