blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術
はじめに こんにちは。Hadoop連載 第4回は太田さんに代わって大倉が担当します。 これまでの連載で、Hadoopによるデータ処理の概略については理解されていると思います。今回はHadoopを利用したシステムの実例ということで、ブログ分析を行う「blogeye」システムの概略と、その中でのHadoop利用法を紹介します。 また、blogeyeはAmazonが提供しているEC2（レンタルサーバ）、S3（ストレージ）をHadoopと組み合わせて利用しているので、その辺りの導入方法についても紹介します。 これまでの連載 Hadoop、hBaseで構築する大規模分散データ処理システム Hadoopのインストールとサンプルプログラムの実行 複数マシンへHadoopをインストールする blogeyeとは 「blogeye」（ブログアイ）は日本語のブログをクロール、リアルタイムに分析して、流行語と思わ
Hadoopのインストールとサンプルプログラムの実行
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました（図1 参照）。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。 2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS（Hadoop Distributed File System）、Hadoop MapReduce F
Hadoop Streaming
Hadoop streaming is a utility that comes with the Hadoop distribution. The utility allows you to create and run map/reduce jobs with any executable or script as the mapper and/or the reducer. For example: $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \ -input myInputDirs \ -output myOutputDir \ -mapper /bin/cat \ -reducer /bin/wc In the above example, both the mapper and the reduce
blogeye.jp : ブログを通して社会をのぞく
「新しいサラリーマン金太郎最悪」 「金太郎・・・」 「【サラリーマンなめんじゃねぇ！】」 「「サラリーマン金太郎」」 「金太郎」 「夜中のTV。」 「サラリーマン金太郎」 「サラリーマン金太郎。」 「サラリーマン金太郎（1）」 「どうもー」 「サラリーマン金太郎 1話」 「初聞き♪」 「なんか(笑)」 「サラリーマンをなめんじゃねぇ。」 「永井金太郎」 「思ったよりも」 「シシカバブー」
MapReduceのJava実装Apache Hadoopを使ってみた (1/3) - @IT
MapReduceのJava実装Apache Hadoopを使ってみた：いま再注目の分散処理技術（後編）（1/3 ページ） 最近注目を浴びている分散処理技術「MapReduce」の利点をサンプルからアルゴリズムレベルで理解し、昔からあるJava関連の分散処理技術を見直す特集企画（編集部） Apache Hadoopプロジェクトとは何か？ 本特集では、いま再注目の分散処理技術についていろいろと紹介してきました。前編の「GoogleのMapReduceアルゴリズムをJavaで理解する」では、分散処理技術で最近注目を浴びているものとして、グーグルのMapReduceアルゴリズムを紹介し、中編の「イロイロな分散処理技術とイマドキのWebサービス」では、MapReduceに至るまでのさまざまな分散処理技術やWebサービスについて紹介しました。 そのMapReduceアルゴリズムをJavaで実装したも
プログラマの思索: Subversionのブランチを有効活用してアジャイルに開発せよ
デブサミ2008講演資料の「SubversionとMaven 2 による構成管理」を読んで、改めてソフトウェア開発ではソース管理が最重要であると再認識した。 ソース管理について振り返ってみる。 【1】ソース管理の歴史 ソフトウェア開発では、ソース管理が必須だ。 ソース管理の本質は、履歴を辿って、いつでもソースをUndo、Redoできること。 昔のコンピュータ資源が希少な時、そもそもプログラムを履歴に残すことすらできなかっただろう。 今でもリリース時によくやるように、システム一式を複製して日付でリネームしていた。 僕は当初、ソース管理に、MSのVisualSourceSafeを使っていた。 CVSよりも直感的でGUIが使いやすい。 VSSを使い始めてから、下記の作業がルーチンになった。 朝、出社後、VSSから最新ソースを落として、VisualAgeForJavaのワークスペースにインポートす
構成管理 実践入門 第3章 Subversionベストプラクティス リリース編その２ 自動リリース
第1章 構成管理入門 はじめに なぜ今構成管理に注目するのか 本特集で扱う内容 サンプルの準備 第2章 Subversionによるバージョン管理入門 はじめに クライアント環境の構築 インポート チェックアウト ソースファイルの変更に関連する操作 チーム開発に関連する操作 おわりに 第3章 Subversionベストプラクティス はじめに 帰ってきたO先輩 コードライン編その１ メインライン コードライン編その２ コードラインポリシー コードライン編その３ プライベートバージョン サードパーティライブラリのバージョン管理 リリース編その１ リリース管理 リリース編その２ 自動リリース 継続的インテグレーション 第4章 Maven2によるビルド入門 はじめに なぜMaven2なのか？ Maven2のインストール まずは試してみよう さらに開発を進めよう 第5章 Maven2ベストプラクティス
puttyのコンソールでIMEの切り替え時カーソル色を変更するパッチを書いた（初めてのOSS活動） - Guyon Diary
※追記：コンパイルしたexeファイル １年くらい前に、人力はてなでこんな質問をしました。 question:1164473105 putty(vim)でカーソルの色を変更する方法を教えてください。 kaoriya版gvimではwindowsのIMEを使うので、『has('multi_byte_ime')』でIMEの状態を取得し、IMEのON/OFFでカーソル色を変更できます。 puttyなどの仮想端末を使った場合は、vimは接続先のソフトを使い、 インプットメソッドは仮想端末からWindowsのIMEを使って入力するので、 IMEの状態を取得することができないようです。 四苦八苦してもvimのみでは解決できそうにもなかったので、 putty自体にvimrcにこれと同じ機能を実装すれば良いのでは？と思って、初めてのOSS活動をしました。 if has('multi_byte_ime') ||
[ThinkIT] 第2回：Subversionによるバージョン管理（前編） (1/3)
今回は、Subversionによるバージョン管理方法とウノウでの導入事例について前編と後編にわけて紹介していきます。 Subversionとは、無償で利用できるバージョン管理システムです。現在もオープンソースで活発に開発が進んでおり、執筆時点の最新バージョンは1.4.2となります。バージョン管理システムとは、ソースコードや仕様書などを含むドキュメントなど、時間とともに内容が変化するファイルを管理するシステムの総称です。 Subversionと同じようなバージョン管理システムとしては、CVS（Concurrent Version System）が有名ですが、SubversionではこのCVSで使いにくかった点を改良した次世代バージョン管理システムというコンセプトで開発が続けらています。筆者が実際にどちらも利用してみた結論として、導入をおすすめするバージョン管理システムは、やはり「Subver
メディア・パブ: 英国でインターネット広告費がＴＶ広告費を追い抜く
昨年の4月に｢オンライン広告がＴＶ広告を追い抜く日，英国では来年にも｣と伝えたが，Reutersの記事によると本当にそうなった。 the Internet Advertising Bureau (IAB)のbiannual report によると，英国のインターネット広告費が2009年上半期に17.5億ポンドになった。これはメディア別の広告シェアで23.5%となり，TV広告費のシェア21.9%を追い抜いた。つまり英国では，インターネットが最大の広告メディアとなったのだ。 英国のインターネット広告費も景気後退で，2009年上半期の伸び率が4.8%増と鈍化しているものの，シェアは大きく拡大している。一方のTV広告は，公共放送のBBCが英国内では広告がないうえに，英最大の商業TV局のITVが09年上期の広告売上が15%減と落ち込んだ。英IABのCEOが語ったところによると，インターネット広告費は
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
複数マシンへHadoopをインストールする
はてなブログ | 無料ブログを作成しよう
Subversion/運用方法 - ピノキヲ IT Wiki