[B! hadoop][Hadoop] mano-junkiのブックマーク

「カジュアル」な規模のデータクラスター上でのデータ解析処理 « NAVER Engineers' Blog

今年はさだまさしさんのデビュー40周年ということで、記念コンサート「さだまつり」も絶賛開催中の折も折、残暑も厳しい中皆様いかがお過ごしでしょうか。大平です。さだまさし氏は経験の豊富な方ですので彼の歌や発言から学ぶことは大変多いのですが、個人的に非常に感銘を受けているのは「歌はコンサートで成長する」という言葉です。歌い手として、「歌」という作品を作って公開・販売するだけが仕事ではなく、実際にコンサートなどでお客さんに届け、お客さんの反応を参考にしたり日々の演奏活動の中で試行錯誤を繰り返して、内容をブラッシュアップし洗練させていく過程を指して先の言葉があるのだと思います。実際にさだまさし氏の曲はCDに収録されているものと実際にライブで演奏されるものとでアレンジが大きく異なり、かつ作品としても質が向上しているものが少なからず存在します。 …あまりさだまさしの話を続けると本当に上長に叱られますの

mano-junki 2013/03/14

[]

リンク

Hive/Pigを使ったKDD'12 track2の広告クリック率予測

1. Hive/Pigを使ったKDD'12 track2 の広告クリック率予測油井誠 m.yui@aist.go.jp 産業技術総合研究所情報技術研究部門 Twitter ID: @myui スライド http://www.slideshare.net/myui/dsirnlp-myuilt 1 http://goo.gl/Ulf3A 2. KDDcup 2012 track2 • 検索ログを基に、検索エンジンの広告のクリック率(Click-Through Rate)を推定するタスク – 中国の3大検索エンジンの一つsoso.comの実データ • 検索語などはHash値などを利用してすべて数値化されている – Trainingデータ(約10GB+2.2GB, 15億レコード） – Testデータ（約1.3GB, 2億レコード） • 学習データの1.33割が評価用データセット –

mano-junki 2013/03/14

リンク

Hadoopの派生関係

Hadoop in Practiceを読んでからお絵かき上手になりたいと思い、テーマとしてよさげだったので、ベンダー勢も含めて派生関係をお絵かきしてみました。というのと、Hadoopまわりの派生関係はあきらかにややこしく、一度真面目に調べてみたかったのもあります。前者の目的についてはそれなりにシャレオツ感があるのでよしとして、派生関係の把握についてですが、これはあきらめてだいぶいろいろ簡略化しています。　http://svn.apache.org/viewvc/hadoop/common/ この辺から既存のブランチとタグを追いかけるとわかるのですが、どのバージョンからどのバージョンが派生しているのか調べるのはわりと大変そうだったので、Hadoop Opertions とClouderaのブログ http://www.cloudera.co.jp/hadoop/column/apache

mano-junki 2013/03/05

リンク

NoSQLの現状

このため、NoSQLの知識を持つ開発者やアーキテクトに対する需要が高まってきています。最近の調査によると、最近必要とされる開発スキルは次の通りです。 HTML5 Mongo DB iOS Android Mobileアプリ Puppet Hadoop jQuery PaaS ソーシャルメディア技術的要求のトップ10の中で、NoSQLデータベースは2つあります。1つは、iOSよりも上です。これがNoSQLをほめているのでなかったら、何なのでしょう?! しかし、一見したところ、NoSQLはますます速く深いところまで適用されるようになっています。2011年の夏に、有名な報告書の中でOracleは次のように述べました。NoSQL DBがアイスクリームの味のように感じるかもしれないけれど、あまり深入りしない方がいい、NoSQLはそれほど長く残らないかもしれないから。そのわずか2、3ヶ月後、Oracl

mano-junki 2013/02/19

リンク

(Java)WebアプリからHive・Huahin Managerに連携した時のメモ

Huahin Manager Huahin ManagerはHadoopのJobTrackerのHTTPProxy的な役割をするサーバーで、Huahin ManagerにHTTP接続することでREST的な操作でJobTrackerの情報取得やコントロールを行なうことができるOSSのミドルウェアです。先日Huahin Frameworkという製品のプレスリリースがありましたが、Huahin Managerはその一部を担う機能になります（で合ってるのかな？）ブレインパッド、Hadoopフレームワーク「Huahin Framework」をオープンソースソフトウェアとして公開この記事では、JavaのプログラムからHiveやHuahin Managerに連携をした時の作業メモを書きます。システムのユースケースとしては「Hiveクエリー（に伴うMapReduceジョブ）をWebアプリケーション

mano-junki 2013/02/13

リンク