Hadoop、hBaseで構築する大規模分散データ処理システムCodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。
Hadoop Streaming - naoyaのはてなダイアリー
id:naoya:20080511:1210506301 のエントリのコメント欄で kzk さんに教えていただいた Hadoop Streaming を試しています。 Hadoop はオープンソースの MapReduce + 分散ファイルシステムです。Java で作られています。Yahoo! Inc のバックエンドや、Facebook、Amazon.com などでも利用されているとのことです。詳しくは http://codezine.jp/a/article/aid/2448.aspx (kzk さんによる連載記事)を参照してください。 Hadoop Streaming 記事にもあります通り、Hadoop 拡張の Hadoop Streaming を使うと標準入出力を介するプログラムを記述するだけで、Hadoop による MapReduce を利用することができます。つまり、Java 以外
Hadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、地域サービス事業部の吉田一星です。 今回は、Hadoopについて、Yahoo! JAPANでの実際の使用例を交えながら書きたいと思います。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 複数のマシンへの分散処理は、プロセス間通信や、障害時への対応などを考えなければならず、プログラマにとって敷居が高いものですが、 Hadoopはそういった面倒くさい分散処理を一手に引き受けてくれます。 1台では処理にかなり時間がかかるような大量のデータも、複数マシンに分散させることで、驚くべきスピードで処理を行うことができます。 例えば、今まで1台でやっていた、あるログ集計処理
FreeBSD7.0でHadoop-0.18.0を試す - tuedaの日記
公式にはLinuxとWindows用だがどうせJavaだから動くだろうと思ってFreeBSDで試す。 （１台で動かすスタンドアローンモード。本番運用では分散処理モードを使う。他に擬似分散モードもある） porsにはないので普通にダウンロードしてきて試す。 手順は http://hadoop.apache.org/core/docs/current/quickstart.html の通り。 hadoop-0.18.0.tar.gzをダウンロードして解凍 今回使ったのは http://ftp.riken.jp/net/apache/hadoop/core/hadoop-0.18.0/hadoop-0.18.0.tar.gz > tar xvfz ~/download/hadoop-0.18.0.tar.gz > cd hadoop-0.18.0 Hadoopの環境設定ファイルでJavaの場所を
Orange: HadoopでMapReduceを書く
職場でI君からHadoopで(StreamではなくJavaを使って)MapReduceを書くのに適したチュートリアルが欲しいという話があったので、久しぶりにブログを書いてみることにした。 まぁ、Streamを利用すればもっと簡単に書けると思うのでJavaを利用する意味もあまりないと思う。 基本的にはプログラム自体にコメントをしつこいぐらいに書いたので、そちらを参照してもらいたいのだけれどもこのプログラムの目的を簡単に説明すると、cabochaという日本語構文解析プログラムの出力結果から単語の頻度を計算するものになっている。 cabochaの出力結果は下のようになっていて、 * 0 1D 0/1 0.00000000 ウィキペディア ウィキペディア ウィキペディア 名詞-一般 O に ニ に 助詞-格助詞-一般 O * 1 -1O 0/0 0.00000000 ようこそ ヨウコソ ようこそ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MatsuLab. Lecture Note/sougouenshu2008/round2 - MatsuLab. Lecture Note