MapReduceできる10個のアルゴリズム - データサイエンティスト上がりのDX参謀・起業家
HadoopとMahoutにより、ビッグデータでも機械学習を行うことができます。Mahoutで実装されている手法は、全て分散処理できるアルゴリズムということになります。Mahoutで実装されているアルゴリズムは、ここに列挙されています。論文としても、2006年に「Map-Reduce for Machine Learning on Multicore」としていくつかのアルゴリズムが紹介されています。 そこで今回は、（何番煎じか分かりませんが自分の理解のためにも）この論文で紹介されているアルゴリズムと、どうやって分散処理するのかを簡単にメモしておきたいと思います。計算するべき統計量が、summation form（足し算で表現できる形）になっているかどうかが、重要なポイントです。なってない場合は、”うまく”MapReduceの形にバラす必要があります。 ※例によって、間違いがあった場合は随時
MapReduceのパターン、アルゴリズム、そしてユースケース - きしだのHatena
Ilya Katsov氏による「MapReduce Patterns, Algorithms, and Use Cases」の翻訳 http://highlyscalable.wordpress.com/2012/02/01/mapreduce-patterns/ (下書きに入れて推敲するつもりが、なんか公開されてしまっていたので、あとでいろいろ修正すると思います) February 1, 2012 この記事では、Webや科学論文で見られる異なるテクニックの体系的な視点を与えるために、数々のMapReduceパターンとアルゴリズムをまとめた。 いくつかの実用的なケーススタディも提供している。 すべての説明とコードスニペットでは、Mapper、Reducer、Combiner、Partitionaer、ソーティングにおいてHadoopの標準的なMapReduceモデルを利用します。このフレー
今さら聞けないHadoop勉強会 第1回に参加してきた - Diary of absj31
1月19日 今さら聞けないHadoop勉強会 第1回(東京都) ちょっと書くタイミングを逸したので今件に関してはスライド参照のみで割愛。 (25) 今さら聞けないHadoop View more presentations from Toru Takizawa 替わりと言っちゃあ何だが、主だった各種リンクをざっくりまとめてみた。今後の学習の参考にして行きたいと思います。 公式・概要 Welcome to Apache™ Hadoop™! Hadoopユーザー会 Hadoop - Wikipedia 基礎・入門 Welcome to Apache Hadoop! いまさら聞けないHadoopとテキストマイニング入門 (1/3) - ＠IT MapReduceのJava実装Apache Hadoopを使ってみた (1/3) - @IT Hadoop、hBaseで構築する大規模分散データ処理シス
第1回EMR勉強会に参加しました | DevelopersIO
こんにちは。くろの（福田）です。 先日、第1回EMR勉強会に参加してきました。 ■開催概要 日時：2011年12月15日（金） 場所：タイムズビル24 主催：ヴェルク株式会社、クリエーションライン株式会社 Webサイト：http://atnd.org/events/23056 ハッシュタグ：#emrstudy_jp ■クラウド型Hadoop Service - Amazon Elastic MapReduce クリエーションライン株式会社 李さん クラウド型Hadoopサービス オンデマンド －ジョブフロータイプ、データ処理タイプ、クラスタ規模を指定してHadoop作成 プロビジョン Hadoopクラスタ構成/ソフトウェアインストールが自動的に行われる Amazon S3、RDS、SimpleDB エフェメラル －結果がS3に保存され、ジョブフローは削除される ephemeral：はかない
HDFSのファイルオペレーション各種 #hadoopAC11jp - たごもりすメモ
この記事は hadoopアドベントカレンダー の14日目の記事です。 みなさんHDFS使ってますか。使ってますよね。最近はgluster fsなどの選択肢も出てきていますが、まだ第一の選択肢はHDFSという人がほとんどだと思います。 で、HDFSのファイル操作をどうしようか悩みますよね。めんどくさいです。いくつかあるので比較してみましょう。 hadoop fsコマンド みんな大好きhadoop fs。日に100回くらいは叩きますね。基本的にはみんなこれを使うでしょうか。ただし以下いくつかの「たるいなー」という点があります。 Hadoopがインストール・設定されていないと動かない あたりまえなんですけど意外にめんどくさいですね。 Hadoopの処理対象となるファイルはもちろんHadoopクラスタ「以外」のサーバから出てくるわけで、そこからも直接ファイルをHDFSに突っ込みたいなーというのは割
Hadoopソースコードリーディング第7回に行ってきました - Tech Log - s21g
Hadoop World NYC 2011の参加レポートがあるということをTwitterで発見して、Hadoopソースコードリーディング第7回に行ってきました。 アジェンダは下記の3つ Hadoop World NYC 2011 参加レポート Part.1 Hadoop Troubleshooting 101 セッションレポート Hadoop World NYC 2011 参加レポート Part.2 それぞれで気になったところをメモ。 Hadoop World NYC 2011 参加レポート Part.1 Hadoop World NYC 2011の概要紹介と基調講演の内容の紹介といった感じ。会場の様子の紹介を聞く限りは盛況だったようですね。 参加者についてのトピックとしては、 利用者の平均Hadoopクラスタは120ノード 12.8％は1PB以上のデータ量 だとか。 基調講演の内容として
gumiStudy #10「ソーシャルゲームの解析を支える技術-Hadoop編-」開催致しました - gumi Engineer’s Blog
度々登場しております、gumiの新居です。 最近勉強会報告のブログばかりとなっておりますが、また何か面白いネタがあれば書きたいなーと思いつつ業務に追われ後手後手に回っております。。。 ということで、遅くなりましたが、先日11/8（火）、【エンジニアカフェEvent×gumiStudy】ソーシャルゲームの解析を支える技術-Hadoop編-を開催致しました。 ちなみにMongoDB編はこちら↓↓↓ gumiStudy #9「ソーシャルゲームの解析を支える技術-MongoDB編-」開催致しました 弊社からは堀内と本間、そしてAmazon Web Services（AWS）を提供されているアマゾンデータサービスジャパン株式会社から大谷様をお招きし、発表を頂きました。 会場は、今回もパソナテック様にご提供頂きました。 ソーシャルゲームとデータ解析 まずは弊社CTO堀内から、開会の挨拶と「ソーシャルゲ
Hadoop World 2011 NYC, In My View Point. #hw2011 - #garagekidztweetz
ツイート 第一日目、第二日目のメモに引き続いて、最後に個人的な Hadoop World 2011 のまとめをしてみたので、共有したいと思います。 ✔ 目次 写真で紹介する Hadoop World 2011 の様子 キーワード 7 つで読み解く Hadoop World 2011 Hadoop World 2011 の感想 Hadoop World 2011 でわたしが取ってきたメモへのリンク Hadoop World 2011 関連資料リンク ✔ 写真で紹介する Hadoop World 2011 の様子 Hadoop World 2011 は Sheraton NYC で開催されました。（NYC はどこのビルも工事中な感じでした） Sheraton Hotel （写真：左はメインで使っていたボールホール）は結構広かったのですが、 1,400 人からの参加者を収納するには狭すぎたと思い
Hadoopのトラブルシューティングに関する資料があったのでめもっとく - wyukawa's diary
Hadoop World 2011でClouderaの人が発表した資料を見つけたのではっておく。 Hadoop Troubleshooting 101 - Kate Ting - Cloudera View more presentations from Cloudera, Inc. Clouderaのサポートチームの極意が詰め込まれているようだ。 内容的にはHadoop徹底入門の10章の「性能向上のためのチューニング」と若干かぶっているが参考になります。 io.sort.mb < mapred.child.java.opts とすることとか（ていうかmapred.child.java.optsを増やすことはあるかもしれないがio.sort.mbっていじるもんなのかな）、プロセス数やファイルディスクリプタいじれとか、map出力のスレッドいじれとか、Jetty 6.1.26は使うなとか、盛り
Mapreduce2.0 - 急がば回れ、選ぶなら近道
次世代Hadoopの開発が進んでいる。現状の推移では、少なくとも分散クラウドでの「OSSインフラ」としてはHadoopが最有力候補であることは間違いない。クラウド上での分散処理基盤での技術競争ではGoogleやAmazonが相当抜きんでいる現在、それに対抗しうる可能性があるOSSはHadoopの潮流の延長線上にしか考えられない。その形としてHadoop-MapReduce2.0があるように見える。現在の状態で自分なりの次世代Hadoopの理解をまとめておく。基本的に全部は見切れていないので、そのあたりはあしからず。基本的に次世代Hadoopの仕組みは大きく二つの要素からなる 現在のところの柱はHDFSとMapreduce2.0の二つだ。 まずMapReduce。これは従来の「MapReduce」というものからはほど遠い。むしろ「任意」の分散処理実行フレームワークにたいして、適切なリソースを
Hadoopによるテキストマイニングの精度を上げる2つのアルゴリズム
Hadoopによるテキストマイニングの精度を上げる2つのアルゴリズム：テキストマイニングで始める実践Hadoop活用（最終回）（1/3 ページ） Hadoopとは何かを解説し、実際にHadoopを使って大規模データを対象にしたテキストマイニングを行います。テキストマイニングを行うサンプルプログラムの作成を通じて、Hadoopの使い方や、どのように活用できるのかを解説します Passive-Aggressiveとロジスティック回帰で精度向上 前回の「実践！ 「MapReduceでテキストマイニング」徹底解説」では、「青空文庫」の作品から学習を行い、テキストデータから著者の寿命を推定するMapReduceプログラムを作成しました。 今回は、前回のプログラムを少し変更するだけで、精度が上がる「Passive-Aggressive」というアルゴリズムを実装します。また、テキスト分類のアルゴリズムと
国立情報学研究所 佐藤教授が語る「クラウドコンピューティングの将来動向」（ビッグデータ編）
8月31日から2日間、都内で行われたイベント「Cloud Computing World Tokyo 2011」。そのイベントへの申し込み段階で最初に満員となったのが、国立情報学研究所 佐藤一郎教授のセッション「クラウドコンピューティングの将来動向」でした。 技術的な背景に基づき、ビッグデータ活用に必要な条件とは何か、クラウドのビジネスモデルはどうなるのか、データセンターの進化の方向性、などについて具体的な解説が行われています。 この記事では、そのセッションの内容を紹介しましょう。 ビッグデータ流行の背景となったMapReduce/Hadoop 国立情報学研究所 アーキテクチャ科学 研究系 教授 佐藤 一郎氏。 分散システムの研究者から見た、クラウドのインフラの話、10年先の話をしようと思います。 1つ目はビッグデータの話題。 ビッグデータの処理技術「MapReduce/Hadoop」は、
Starfish: Hadoopでの自己調節データ解析
講義の内容は「MADDER、およびStarfishによるHadoopでの自己調節データ解析（MADDER and Self-tuning data analytics on Hadoop with Starfish）（PDF）」というものです。一言で言えば、Starfishプロジェクトが目指しているのは、Hadoopシステム用の自己調節および自己管理技術を開発することであり、SQL Anywhereをはじめとする自己管理型リレーショナルデータベースシステムが抱える課題の多くは、Hadoopシステムの課題と対応しています。 Starfishの論文とソースコードはApacheラインセンスの下で公開されており、こちらで見ることができます。 次に、Shivnathの講義中に私が書き留めたメモを示します（スライド（PDF）はこちらで見ることができます）。 大規模データ解析は、多くの場合、Google
Hapyrusで気軽にHadoop MapReduceを試す - 愛と勇気と缶ビール
本日の社内勉強会で、id:a_bicky先生にHadoop + MapReduceの話をしてもらった。面白かった。その時に、気軽にMapReduce処理を試せるHapyrus (https://www.hapyrus.com/) というサービスを教えてもらったので、試しにHapyrusに登録して(現在Beta版らしい)アプリケーション作ってみた。 登録とかについては特に難しいこともなんもないので、割愛。 アプリを作成した後、こちらから (1) データソースとなるtextファイル(4000文字まで) or Amazon S3のデータ, (2) map用スクリプト/reduce用スクリプト の計3つを登録してやれば、雲のむこうのHadoopでMapReduce処理をしてもらえるらしい。 現在利用出来る言語はPerl/Ruby/Python（裏はHadoop Streamingなのかしら？）。今
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BigData Analysis with mongo-hadoop
VLDB2011勉強会 Research Session 18: MapReduce and Hadoop
Hadoop scr第7回 hw2011フィードバック
ソーシャルゲームログ解析基盤のHadoop活用事例
【クラウド特捜部】 大規模データの分散処理を実現するHadoopはクラウドでこそ生きる？
衛星データ処理勉強会 分散処理システムHadoop