http://www.ne.jp/asahi/hishidama/home/tech/apache/hadoop/pseudo.html:こちら]とhttp://d.hatena.ne.jp/daisuke-m/20110605/1307239347:こちら]を参考にインストールするwgetのインストール特になくてもいいのだが後々便利なので入れておくhttp://www.gnu.or... 続きを読む
こんにちは、地域サービス事業部の吉田一星です。 今回は、Hadoopについて、Yahoo!Japanでの実際の使用例を交えながら書きたいと思います。 Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 複数のマ... 続きを読む
ヤフー株式会社 吉田一星 2011/6/21 Hadoopとは何かを解説し、実際にHadoopを使って大規模データを対象にしたテキストマイニングを行います。テキストマイニングを行うサンプルプログラムの作成を通じて、Hadoopの使い方や、どのように活用できるのかを解説しま... 続きを読む
Loading... Flash Player 9 (or above) is needed to view presentations. We have detected that you do not have it on your computer. To install it, go here. Hadoop入門 - Presentation Transcript Hadoop入門 株式会社 Preferred Infrastructure 西川 徹... 続きを読む
『モバゲーの大規模データマイニング基盤におけるHadoop活用』 Hadoop Conference Japan 2011 #hcj2011 5 minutes ago Loading… Flash Player 9 (or above) is needed to view presentations. We have detected that you do not have it on your computer. To ... 続きを読む
Pig is a platform for analyzing large data sets that consists of a high-level language for expressing data analysis programs, coupled with infrastructure for evaluating these programs. The salient property of Pig programs is that their struct... 続きを読む
今年の6月に、「平成21年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。Had... 続きを読む
はじめまして。今年の5月に入社した勝間@さがすチームです。 入社してからは、なかなか大変なことも多いですが、最近はお酒好きが集まって月曜から飲み合う 「勝間会」なるものも発足して、仕事面でも仕事以外の面でも密度の高い毎日を過ごしています! さて、... 続きを読む
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました(図1 参照)。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプ... 続きを読む
Home > hadoop > SQL感覚でMap Reduce処理できるHiveについて Older SQL感覚でMap Reduce処理できるHiveについて 前回、JavaScriptでMap Reduceのコードが書けるHadoop Streamingについて紹介しました。 標準入出力さえサポートされてあれば、任意のコードでM... 続きを読む
Home > Java | Javascript > Hadoop Streamingを利用してJavaScriptでMap Reduce Older Hadoop Streamingを利用してJavaScriptでMap Reduce 久々のBlog更新、というわけでリハビリがてらJavaScriptで軽く遊んでみたいと思います。 いま、巷で流行ってるMapRed... 続きを読む