[B! hadoop] y_yanbeのブックマーク

『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011－ #hcj2011

『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011－ #hcj2011 2011/02/22 [登壇後エントリ] ：" 「モバゲーの大規模データマイニング基盤におけるHadoop活用」－Hadoop Conference Japan 2011 #hcj2011 で登壇してきました " http://d.hatena.ne.jp/hamadakoichi/20110222/p1Read less

y_yanbe 2011/02/23

hadoop

リンク

第７回データマイニング+WEB勉強会＠東京で発表してきました。「明日から始めるソーシャルアプリのログ解析」 - doryokujin's blog

発表者・参加者双方に有意義な勉強会：データマイニング+WEB勉強会＠東京 @doryokujinです。9/26(日)に行われました、第７回データマイニング+WEB勉強会＠東京で発表してきました。@hamadakoichiさんによるまとめ（発表資料一覧）とTogetterも参考にして下さい。僕は第6回から参加させていただいていますが、前回に負けじと今回も本当に素晴らしい勉強会でした。主催者@hamadakoichiさんの創設の思い・目的・進行方針からもわかっていただけますように、発表者と参加者双方が熱い議論を交わしながら進んでいく勉強会です。そんな勉強会に幸運にも発表枠を頂けましたので発表してきました。勉強会の発表はこれが初めてでした。明日から始めるログ解析1 〜HadoopとMongo DB を活用したソーシャルアプリ解析〜このエントリーでは、たくさんの方から頂いたフィードバックを元

y_yanbe 2010/10/05

こういう仕事おもしろそう

リンク

Hadoop Python: Writing An Hadoop MapReduce Program In Python - Michael G. Noll

In this tutorial, I will describe how to write a simple MapReduce program for Hadoop in the Python programming language. Motivation Even though the Hadoop framework is written in Java, programs for Hadoop need not to be coded in Java but can also be developed in other languages like Python or C++ (the latter since version 0.14.1). However, the documentation and the most prominent Python example o

y_yanbe 2009/04/18

リンク

Hadoop上で動く機械学習ライブラリ　「Apache Mahout 0.1」リリース

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

y_yanbe 2009/04/12

Hadoop上にソフトウェアスタックが積まれつつあるのだろうか/Mahoutってどう発音するんだろう

hadoop

リンク

本を読む GREE LabsでHadoopの話を聞いてきた

GREEさんで不定期でやってる、GREE Labsオープンソーステクノロジー勉強会で、Hadoopの話を聞いてきました。Hadoopは、つまりはGoogleのGFSやMapReduceのクローンだそうで、「Googleを支える技術」にトキメいた人なら必見ですね。発表は、技術面を簡潔に押さえたうえでわかりやすく、そのうえ実際の利用事例の話も聞けたのが面白かったと思います。最近のWeb系では、サービス面でもマネタイズ面でも、データマイニングとか行動ターゲティングとかがアツいんだなぁと思いました。プレゼン資料もust録画も公開されていますが、以下、自分のメモという意味で記録しておきます。 Hadoopについて（太田一樹） Preferred InfrastructureのCTOで、Sedueの作者。大量のデータの処理がテーマで、半分は酒でできているw。そんなこんなで、はてブ検索でも使われてい

y_yanbe 2009/04/02

リンク

GoogleのMapReduceは僕たちに必要か？ - きしだのはてな

ということで、Google MapReduceの実装であるHadoopを使ったMapReduceと、JMSを使ったMapReduceをやってみました。メッセージキューを使って分散MapReduceを実装する HadoopでのMapReduceを気軽に試すサンプルこれ何のためにやったかというと、そこらにあるような数十台規模のサーバーを前提としたときに、Hadoopの有効性、ひいてはその元になってるGoogle MapReduceの有効性について疑問に思ったからです。そこで、ちょっと試してみた、と。ここで、メッセージキューを使った場合に1秒でできてた処理が、Hadoopを使うとスタンドアロンモードでも40秒近くかかりました。擬似分散モードだと4分近くです。いくらHadoopの実装がひどいとしても、これはあんまりです。 Googleでの実装はもっと効率的なものになっていると思いますが、そ