8. 普通名詞として •Map/Reduce 関数でデータを 処理するプログラミングモデル • マシンを増やしただけスケール •Hadoop, MongoDB, CouchDB などが主な実装
1. 【VLDB2011勉強会】 Session 18: MapReduce and Hadoop 担当: 塩川浩昭(NTT) 1 2. 紹介する4本の論文 1. Column-Oriented Storage Techniques for MapReduce Avrilia Floratou, Jignesh M. Patel(University of Wisconsin Madison), Eugene J. Shekita, Sandeep Tata (IBM) 2. Automatic Optimization for MapReduce Program Eaman Jahani, Michael J. Cafarella (University of Michigan), Christopher Re (University of Wisconsin Madison) 3. C
Hadoopreading05 data intensive3 - Presentation Transcript MapReduceアルゴリズムデザイン Data-Intensive Text Processing with MapReduce 第3章 #hadoopreading @nokuno 自己紹介 2 Twitter: @nokuno はてな:id:nokuno 自然言語処理勉強会を主催(第2回は9/25開催) PRML/R/TokyoWebmining/Python/Hadoopなど 2002~2006:コミケで同人ゲーム売ってた 2007~2008:未踏でSocial IMEの開発 2009~現在:Web業界勤務(←今ここ) 本発表の元ネタ 3 Data-Intensive Text Processing with MapReduce 大規模テキスト
最近、Perl も書き始めてみたので、Hadoop 上で分散実行できる Perl での MapReduce 実装を紹介する。大規模データマイニング・機械学習のライブラリ Apache Mahout の Parallel Frequent Pattern Mining の入力データを生成する Perl MapReduce 実装の紹介。 Frequent Pattern Mining 入門 Frequent Pattern Mining (Association Analysis )は、隠されたルールパターンを抽出するアルゴリズム。有名な例としては、1992年のウォルマートのクリスマス商戦で「おむつを買った人は半ダースのビールを買う可能性が最も高い」という頻出ルールを抽出し、商品陳列に活かした売上向上した事例。 入門資料: 第5回R勉強会@東京 で話してきた - 「R言語によるアソシエーション
Twitterについては先日の記事でフロントエンドのBlenderを紹介しましたが、バックエンドやデータ解析のシステムにも興味があります。ちょうどData-Intensive Text Processing with MapReduceで有名な@lintool先生の新しい論文が公開されていたので読んでみました。Full-Text Indexing for Optimizing Selection Operations in Large-Scale Data Analytics(pdf)ACMのMapReduce'11というワークショップで発表された内容のようです。この論文を読んで初めて知ったのですが、Lin先生はサバティカル休暇(大学教授が長期の休みを取れる制度)でTwitterに来ており、データ解析チームで働いているそうです。この論文もTwitterエンジニアの@squarecogさんと
今更のアップですが、Hadoop Conference Japan 2011 に行ってきました。 概要は以下。 http://hadoop-conference-japan-2011.eventbrite.com/ いつまでアクセスできるかわかりませんが。 最近、技術系のイベントにいくと、Mac 率高いなぁ。しかも Air 。 今回もメモ帳片手に話を聞いていました。 電子化するにあたり、再度見直すことで復習するからいいじゃん、ということにしておこう(負け惜しみ)。 以下、メモからおこしてます。 それぞれのサービスとかを Google さんに問い合わせれば詳細を得られると思います。 あと、敬称略にさせていただきます。 『Hadoop on クラウド / Amazon Elastic MapReduceの真価』(Amazon Web Services, Jeff Barr) Amazon EC
February 24, 2011 - hadoop Hadoop conference japan 2011に参加してきました。 Hadoop Conference Japan 2011 - Eventbrite 今回の個人的トピック AWSがHBaseサポート予定 DremelはHadoopの補完的位置づけ DSLとしてのAsakusaの魅力 AmebaのpatriotはRubyDSLで簡単ジョブ記述 MySQLでもMapReduceできるよ HBaseを使うとシステムがシンプルになるよ 以下、メモ書きです。 Hadoop on クラウド / Amazon Elastic MapReduceの真価 * 11:30?12:05 * Amazon Web Services, Jeff Barr ( @jeffbarr ) * EMR removes ‘MUCK’(=ぬかるんだ感じ) fro
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く