NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
Hadoopを使わずにWikipediaのテキスト処理を400倍高速化 - tsubosakaの日記
タイトルは釣りです。id:mamorukさんの書いたHadoop で Wikipedia のテキスト処理を900倍高速化 - 武蔵野日記を読んで、そもそも1G程度のデータの単語頻度を数えるのに858分もかかるんだっけと思い、id:nokunoさんの資料を読んでみると単語頻度を求める際に a b a aみたいなデータを a 3 b 1に変形するのにsortしたファイルをuniq -cで処理するということをやっていた。これはあまり効率のよい方法ではなくて行数をNとしたときにO(N log N)の計算時間となる(文字列比較はO(1)でやれることにする)。 これに対して、単語の頻度をハッシュ表で保存すると理想的な条件の元ではO(N)の計算時間で頻度を求めることが出来、より高速に計算することが可能となることが期待される。 また、単語数をWとしたとき、C++のmapのような二分探索木を使ってもO(N
自然言語処理における MapReduce の使い方のチュートリアル - 武蔵野日記
今学期は毎週論文紹介するネタを探すのも疲れるので、適宜論文紹介を入れながら、 Data-Intensive Text Processing With MapReduce (Synthesis Lectures on Human Language Technologies) 作者: Jimmy Lin,Chris Dyer出版社/メーカー: Morgan and Claypool Publishers発売日: 2010/08/15メディア: ペーパーバック クリック: 67回この商品を含むブログ (6件) を見るをしばらく読もうかと思っている。ちなみに http://www.umiacs.umd.edu/~jimmylin/book.html から全文の PDF がダウンロードできるので、そちらを使用予定。印刷・製本してパラパラとめくっているが、テキスト的には割といい本だと思う。みんながこぞ
Hadoopリンクまとめ(1) - 科学と非科学の迷宮
Part1 / Part2 更新履歴 2010/06/20 リンク追加 入門、事例紹介、ニュース Part2へ移動 EC2、Pig、MapReduce、HDFS 新規追加 性能測定 公式 Welcome to Apache Hadoop! 日本語訳 Hadoopユーザー会 Welcome to Hadoop MapReduce! "大規模な計算ノード・クラスタ上において膨大なデータを高速で並列処理するアプリケーションを作成するためのプログラミングモデルおよびソフトウェアフレームワーク" Welcome to Pig! "大規模なデータセットを分析するためのプラットフォーム""Pig の言語レイヤを構成しているのは、Pig Latin と呼ばれるテキストベースの言語" wikipedia Apache Hadoop - Wikipedia, the free encyclopedia Apa
に参戦してきた！！ - PolyPeaceLight
Hadoop入門 西川徹 Preferred Infrastructre, CEO HBase BigTableのクローン HDFSは巨大なファイルを扱うのは苦手だが、細かいデータを大量に扱う操作は苦手 細かい粒度・低レイテンシなデータアクッスを可能にするための分散データベース 同じ分野のソフトウェアとして、HyperTable Telanium.inc 小宮山さんのプレゼンで Hadoop DB Hadoopはバッチ処理が得意 OLAP的な処理はRDBMSが得意 2つをくつけて大量データ・非構造的なデータをHadoopで処理し対話的なBI処理をRDBMSに任せる まだ論文レベルで実用がわからない RDBMSに取って代わるものではなく、得意な処理を得意な側で処理すればよい Hybridな使い方 MapReduceとRDBMSのハイブリッドなものがでてきた Vertica Preferred
Hadoop World NYC 参加記 - moratorium
Hadoop World NYC 参加記 2009-10-07 (Wed) 10:03 Hadoop と言う訳でHadoop World NYC, 2009の参加記を書きます。 1日目はSystem Administrator用のトレーニングコースを受け、2日目がカンファレンス本番でした。トレーニングコースはDeveloper向け(3日間)とManager向けのビジネス寄りのコースが有り、合計で100人ぐらいは参加していたと思います。カンファレンスの本番自体は400～500人の参加でした。 まずSystem Adminコースですが、大体以下のような内容でした。 MapReduceの基本概念 ハードウェア/ネットワーク機器の選定ポイント OSやJavaなど、ソフトウェアでの注意点 Hadoop(Cloudera Distribution)のインストール方法 パラメーター/パフォーマンスチュー
Mapreduce & Hadoop Algorithms in Academic Papers | atbrox
The newest and most up-to-date version (May 2010) this blog post is available at http://mapreducebook.org An updated and extended version of this blog post can be found here. Motivation Learn from academic literature about how the mapreduce parallel model and hadoop implementation is used to solve algorithmic problems. Disclaimer: this is work in progress (look for updates) Input Data – Academic P
Hadoop Map/Reduce チュートリアル hadoop-0.18.2 2008 年 11 月 25 日 1 目的 このドキュメントは Map/Reduce フレームワークとサービスのユーザー側面でのすべてについてチュートリ アルとして総合的に��
Hadoop Map/Reduce チュートリアル hadoop-0.18.2 2008 年 11 月 25 日 1 目的 このドキュメントは Map/Reduce フレームワークとサービスのユーザー側面でのすべてについてチュートリ アルとして総合的に解説します 2 準備 Hadoop のインストールと設定を行い、動作していることを確認してください。詳細については次を参照して ください: • Hadoop Quickstart [?] for first-time users. • Hadoop Cluster Setup [?] for large, distributed clusters. 3 概要 Hadoop Map/Reduce はコモディティ・ハードウェアから成る大規模なクラスタ（数千ノード）において、信 頼性や耐障害性を確保しつつ膨大な量のデータ（数テラ・バイトのデータ・セ
Hadoop + Luceneで分散インデクシング - moratorium
Hadoop + Luceneで分散インデクシング 2008-08-27 (Wed) 1:07 Hadoop Hadoop (0.17系) + Lucene (2.3系) で検索用インデックスを分散インデクシングするコードを公開してみます。HDDに眠らせてるのはちょっともったいない。 いきなりソースコード。 package net.kzk9; import java.io.*; import java.util.*; import org.apache.hadoop.conf.*; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.*; import org.apache.hadoop.mapred.*; import org.apache.hadoop.util.*; import org.apache.lucene.i
Hadoopを用いたクラスタコンピューティング環境の構築 - SourceForge.JP Magazine : オープンソースの話題満載
ペタバイト規模のデータを格納させる分散コンピューティング用プラットフォームを探しているのであれば、そのフレームワークとして Hadoop の使用を検討すべきだろう。HadoopはJavaベースで作成されているため、Linux、Windows、Solaris、BSD、Mac OS Xにて使用できる。こうしたHadoopを実際に採用している組織に共通するのは、安価（特殊なハードウェアが不要）かつ効率的でスケーラビリティと信頼性を兼ね備えたプラットフォームによる、膨大な量のデータ処理を必要としているという点だ。 Hadoopでは、こうした膨大な量のデータを格納するために、Hadoop Distributed File System（HDFS）を採用している。実際、HDFSのマスタ/スレーブアーキテクチャは、Hadoopのクラスタ機能の中核を成している。ここでサポートされているのは、ファイルシステ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mahout 0.3: オープンソースの機械学習プロジェクト
IBM Developer
サービス終了のお知らせ
IBM Developer
Hadoopの解析資料