「Mobageの大規模データマイニング」- #PRMU 2011 Big Data and Cloud で講演してきました - hamadakoichi blog
電子情報通信学会「パターン認識とメディア理解研究会 (PRMU: Pattern Recognition and Media Understanding)」＠幕張メッセ国際会議場 で招待講演をしてきました。 「Mobageの大規模データマイニング」に関して、話しています。 Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop View more presentations from Koichi Hamada 2900万人以上の登録会員をかかえるモバイルソーシャルゲームプラットフォーム「Mobage」では、１日20億超の行動情報が蓄積されています。これらの大規模行動データを対象に、データマイニング・機械学習の各種方法論を適用することにより、隠された法則を解明・より良い解を導出し、迅速なサービス洗
Hadoopの最新動向を「Hadoop World:NY 2009」の資料から（前編）
Hadoopは、グーグルが大規模分散システムのために用いているMapReduceという技術を、オープンソースとして実現するために開発されたJavaベースのソフトウェアです。開発が始まったのは2005年頃で、当時Yahoo!に所属し現在はClouderaに所属するDoug Cutting氏が中心となって進めてきました。 Hadoopが実現するMapReduce処理とは、簡単にいえば大量のデータを小さく分割して多数のノードに割り当て（Map処理）、各ノードで処理を行ったらそれを集約して結果を出す（Reduce処理）、という分散処理の方法です。数テラバイトにもおよぶ大容量のデータを高速かつ低コストに分散処理する方法として注目を集めています。 ニューヨークでHadoop Worldが開催される そのHadoopのカンファレンス「Hadoop World：NY 2009」が10月2日にニューヨークで
マイクロソフトのHadoop対抗技術「Dryad」、いよいよ始動か？
大規模分散処理のフレームワークとしてグーグルが開発したMapReduce処理や、そのオープンソース実装であるHadoopが急成長し、ビジネスの分野での商業利用が立ち上がり始めていることは、Publickeyでも何度か記事で紹介してきました。 Hadoopを表計算のように使える「InfoSphere BigInsights」、IBMが発表 グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作 Hadoopは企業のための新たな情報分析プラットフォームとなる、とCloudera グーグルがBigQueryの開始を発表し、IBMも大規模処理のエンジンとしてHadoopを採用、AmazonクラウドでもHadoop処理を行う「Amazon Elastic MapReduce」サービスを提供していることから分かるように、Hadoopはクラウドでの大規模
クックパッドのデータ処理、たった5万円 (2ページ目)：日経ビジネスオンライン
気になる記事をスクラップできます。保存した記事は、マイページでスマホ、タブレットからでもご確認頂けます。※会員限定 無料会員登録 詳細 ｜ ログイン 「たべみる」のサービスを利用すれば、たとえば、「鍋」というキーワードが、どのような食材（白菜やキャベツ、鱈、豚肉、鶏肉など）と組み合わされて検索されているのか、月別で見ると何月に検索されていることが多いのか、あるいは首都圏と近畿地方では検索傾向に違いが見られるか、といった地域別の分析が可能である。 食品メーカーであれば、データを基にした新商品の開発に、流通小売業であれば、消費者の視点で魅力的な売り場を作るといった活用が可能だ。 食品メーカーが活用、キーワード「ひき肉」を突き止めた このサービスを利用したある食品メーカーのカレールーの商品企画部門では、「カレー」というキーワードと一緒に検索される食材名を月ごとに分析し、もっともよく検索されるのが
グーグルがMapReduce特許を取得。Hadoopへの影響は？
大規模なデータを分散処理するためのフレームワークであるMapReduce。グーグルが検索エンジンの基盤技術として開発し、2004年に論文「MapReduce: Simplified Data Processing on Large Clusters」を発表したことでよく知られるようになりました。 そのグーグルがMapReduceの特許を取得したことが、ブログ「Wataru's Blog」のエントリ「 GoogleがMapReduce特許を取得。Googleは用途についてコメントせず」で伝えられています。 グーグルの特許取得は業界にどのような影響を与えるのか。このエントリを起点に、現時点での情報や報道をまとめました。 特許取得は防衛目的だとの観測 米国特許商標庁（USPTO）のWebサイトでは、該当するグーグルの特許「System and method for efficient large
ウェブ業界の15年、これからの10年 (Re ウェブアプリケーションサーバを複数台構成とか2010年代には流行らない) - kazuhoのメモ置き場
先のエントリ (ウェブアプリケーションサーバを複数台構成とか2010年代には流行らない) ではボトムアップに煽った書き方をしたけど、自分がトップダウンでどういうふうに捉えているかについて。以下、あくまでも私見です。 いわゆるネット業界は1990年代後半に始まってから15年くらいたったわけだけど、当初はマスメディア（静的コンテンツの配信）が業界の中心だったのが、パーソナライゼーションを経て、コミュニケーションツールへと変化してきた*1。 それにあわせて技術的な面でも分化が進み、今ではデータベースとアプリケーションサーバと httpd っていう三層構成が一般的になっている*2。 そもそも Apache って、モジュールをC言語で a-patchy に書いて動的コンテンツを作れるのが売りだったわけだけど、今じゃコモディティ化を通り越してレガシーソフトウェアの代表格。でもみんなあんまり困ってないの
分散処理ソフト「Hadoop」のユーザー会が日本で発足、企業の導入が広がる
オープンソースの分散処理ソフトウエア「Hadoop」の日本におけるユーザー会「Hadoopユーザー会」が2009年11月13日に発足した。Hadoopは米グーグルの分散処理ソフト「GFS」「MapReduce」を模したもの。同日開催した「Hadoop Conference Japan 2009」には200人以上のエンジニアなどが集まり、Hadoopコンサルティングを行う米クラウデラ、ユーザー企業の楽天、はてななどが講演した。 Hadoopはグーグルが2004年までに公開したGFSやMapReduceの論文を基に、プログラマーのダグ・カッティング氏が2005年に開発したソフトウエア。カッティング氏は2009年に、米ヤフーからクラウデラに移籍している。クラウデラは、グーグルで上級ソフトウエアエンジニアを務めたクリストフ・ブシーリヤ氏らが2008年に起業したベンチャー企業で、Hadoop関連のツ
米Yahoo!、Hadoop実装に次ぐクラウド技術「Traffic Server」を公開
米Yahoo!は、2002年に買収したInktomiの技術を土台とするアプリケーションサーバ「Traffic Server」をオープンソースとして公開することを発表した。毎秒3万件以上の要求を処理し、データ伝送量は400テラバイトを実現しているという。 米Yahoo!は米国時間の11月2日、クラウドサービス向けアプリケーションサーバ「Traffic Server」をオープンソースとして公開することを発表した。Apache Software Foundation（ASF）にコードを寄贈し、Apache Incubatorプロジェクトとして発足させる。 Traffic Serverは、エッジサービス、オンラインストレージ、クラウドサービスなどで利用できるサーバ技術。2002年に買収したInktomiの技術を土台とした。 キャッシュされたオンラインコンテンツへのアクセスを速度、信頼性、拡張性から
優良企業はなぜHadoopに走るのか
ちなみに、この分析のために必要とされるMapReduceのコードであるが、そのサイズはわずか20ステップだという。Yahoo!のプレゼンテーターである、エリック・バルデシュバイラー氏によると、たとえ経験の浅いエンジニアであっても、MapReduceによるプログラミングは可能であるとされる。 また、VISAのジョー・カニンガム氏からも、貴重なデータが提供されていたので以下に紹介する。同社では、1日に1億トランザクションが発生するため、2年間で700億強のトランザクションログが蓄積され、そのデータ量は36テラバイトに至るという。こうしたスケールのデータを、従来のRDBを用いて分析するには、約1カ月の時間が必要とされてきたが、Hadoopを用いることで13分に短縮されたという。 これまでは、Yahoo!にしろVISAにしろ、膨大なデータをRDBに押し込むほかに方法はなく、その分析に数十日を要する
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ビッグデータ活用の本格普及は2015年ごろから、NRI予測
Hadoopを用いた大規模ログ解析
agilecatcloud.com