Mapreduce2.0 - 急がば回れ、選ぶなら近道
次世代Hadoopの開発が進んでいる。現状の推移では、少なくとも分散クラウドでの「OSSインフラ」としてはHadoopが最有力候補であることは間違いない。クラウド上での分散処理基盤での技術競争ではGoogleやAmazonが相当抜きんでいる現在、それに対抗しうる可能性があるOSSはHadoopの潮流の延長線上にしか考えられない。その形としてHadoop-MapReduce2.0があるように見える。現在の状態で自分なりの次世代Hadoopの理解をまとめておく。基本的に全部は見切れていないので、そのあたりはあしからず。基本的に次世代Hadoopの仕組みは大きく二つの要素からなる 現在のところの柱はHDFSとMapreduce2.0の二つだ。 まずMapReduce。これは従来の「MapReduce」というものからはほど遠い。むしろ「任意」の分散処理実行フレームワークにたいして、適切なリソースを
次世代Hadoopの特徴は、MapReduce 2とGiraph - ＠IT
次世代Hadoopの特徴は、 MapReduce 2とGiraph Hadoopの父に聞く、HadoopとClouderaの現在・未来 有限会社オングス 後藤 大地 2011/9/15 ■ 増え続けるHadoop活用企業 大規模データの分析に、Javaのフレームワーク「Apache Hadoop」（以下、Hadoop）を採用する事例が増えている。HadoopはMapReduceの実装系の1つで、特にログデータ解析やリサーチ目的の大規模データ分析や計算などに活用されている。TwitterやFacebook、mixi、LinkedIn、Groupon、Amazon、eBay、Yahoo!、楽天、クックパッド、リクルート、ディー・エヌ・エー、サイバーエージェントなどのいわゆるWebサービス系企業だけでなく、NTTデータ、Amazon Web Services、国立国会図書館、EMC、PFI、ウル
TwitterやFacebookで使われている「Apache Hadoop」のメリットや歴史を作者自らが語る
大規模データの分散処理を支えるJavaソフトウェアフレームワークであり、フリーソフトウェアとして配布されている「Apache Hadoop」。その作者ダグ・カティング（Doug Cutting）さんが「Cloud Computing World Tokyo 2011」＆「Next Generation Data Center 2011」において「Apache Hadoop: A New Paradigm for Data Processing」という講演をしていたので聞きに行ってきました。 満員の客席。 皆様を前にして講演できることを大変光栄に思っております。「Apache Hadoop」について皆様に伝えていきますが、これはまさにデータ処理の新たなるパラダイムを提供するものではないかと私は思っております。 まずは簡単に自己紹介をさせていただきましょう。私は25年に渡ってシリコンバレーで仕
第5回Hadoop座談会の感想 - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 Hadoop座談会（第5回）に参加してきました。ありがとうございました。 Togetter： 2011/06/29_Hadoop～座談会(第5回） #hadoopmodeling johtaniさんのブログ・torazukaさんのブログ（虎塚）・落合さんのブログ・gggggoroさんのブログ 今回はなんと参加者300人近くということで、原宿の会場。奥行きが深い構造で、ぎっしり人が入っていて、びっくりした。この広さでプロジェクター2つというのは、少々厳しかったのではないかという気もする＾＾； 今回は他の人のブログとかが充実しているので、自分は軽く感想をまとめるだけにしておきまする。（つーかプロジェクターが見えづらかったので、あまりメモできてない(汗) 下手に頭を動かすと、後
Apache Hadoop for the Enterprise | Cloudera
Press Release — Jun 29, 2011 05:36 UTC Cloudera Unveils Industry’s First Full Lifecycle Management and Automated Security Solution for Apache Hadoop Deployments Latest Advancements Empower Enterprises to Easily Start, Grow and Operate Their Apache Hadoop Deployments with New Management and Monitoring Tools and “One-click” Security Palo Alto, CA – June 29, 2011 – Cloudera Inc., the leading provider
いまさら聞けないHadoopとテキストマイニング入門
ビッグデータ時代の救世主「Hadoop」とは 「Apache Hadoop」は今、最も注目を集めている技術の1つです。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 Hadoopを活用している企業は年々増え続けていて、不可欠な技術になりつつあるといえるでしょう。 本連載では、Hadoopとは何か、Hadoopがどう活用できるのかということを、「テキストマイニング」に焦点を当てて解説していきたいと思います。 重い処理を複数のマシンに分散させる 複数のマシンに処理を分散させるには、プロセス同士の通信、監視、障害時の対応などを考えなければならず、プログラマにとってハードルが高いものです。しかし、Hadoopはそういった面倒くさい処理を一手に引き受けてくれ、プログラマは、やりたい処理だけに集中できます。 例えば、Hadoopを使うと、1
大規模データを無料で手に入れることのできるサイトまとめ - nokunoの日記
大規模データが公開されているサイトについて以下のQuoraでid:makimotoさんが質問していました。Data: Where can I get large datasets open to the public? - Quora以下、紹介されているサイトの一覧です。一部有料のものもあるようです。UCI Machine Learning RepositoryPublic Data Sets : Amazon Web ServicesCRAWDADno titleCity of Chicago | Data PortalGovLoop | Social Data Network for Governmentdata.gov.uk | Opening up governmentData.Medicare.GovData.Seattle.Gov | Seattle’s Data SiteOp
第1回 Hadoopで広がるビジネス領域 | gihyo.jp
はじめに 近年、「Hadoop」というキーワードをよく目にします。もしかしたらこの記事を読んでいるあなたも、Hadoopというキーワードを目にしたり聞いたりしたことがあり、興味を持ってこの記事をご覧になっているのかもしれません。Hadoopとは何でしょうか？何ができるのでしょうか？今回から全5回にかけて、Hadoopの活用事例や活用のヒント、そしてこれからHadoopを活用しようと考えているエンジニアが知っておくべきことや、情報収集の仕方を解説します。 Hadoopって何？ Hadoopとは何でしょうか。簡単に言うと、テラバイト、ペタバイトといった巨大なデータを処理するためのオープンソースの分散処理基盤で、Googleが検索エンジンのバックエンドに利用している技術のクローンです。Googleは2003年に大規模分散ファイルシステム「Google File System（GFS）」につ
Hadoopスタンドアロンモード設定 - 備忘録
日経Linux 2011.5月号 最新クラウド技術 Pig/Hiveを自宅で体感 Hadoopの設定補足内容 検証環境にはAmazon EC2を使います。 Basic 32-bit Amazon Linux AMI(Root Device Size: 8 GB) + EBS Volume 50GiB をマウントしてインスタンスを作成しました。 検証ソフトウェアのバージョンは、hadoop-0.20.2.tar.gz、pig-0.7.0.tar.gz です。hadoop-0.21、pig-0.8が最新版としてありましたが、pigの連携が出来なかったので、この時点での最新を使えませんでした。動作的にはこれでも問題なさそうです。 １.スタンドアロンモード設定 {HADOOP_HOME}/conf/core-site.xml（主要設定ファイル）HDFS実行ポート 8020に設定します。 よく見るサ
NTTDさんのHadoopCDH3サポート(2) - 急がば回れ、選ぶなら近道
セミナーに行ってきました。発表があったようですね。 自分は最後のところしか出れませんでした。とほほ。 んで、NTTDさんのCDHサポートについてです。 値段がでましたね。5ノードから25万円、という内容です。 賛否はそれなりにあると思いますが、個人的には評価したいです。 今のUSでのHadoopの勢いを考えれば、最低ロットは100ノードとか 言われても仕方がないところ。 大抵の外資系の勢いのあるミドルベンダーは強気であることが多く いきなり、「は？何ソレ？」っていうプライスラインが 来ることは結構多いですから。 それとは異なり、わりとリテールに近いプライスラインを見ると NTTDさんが結構、交渉したなと思えます。 基本サブスクリプションモデルなので、 それほど登録事務や手間暇はかからないでしょう。 そもそものCDHのサポート内容ですけど、 このブログでコレができるといいな、って書いたことは
サイト閉鎖のお知らせ | ASCII Books
ASCII Booksのサイトをご利用いただき、ありがとうございます。 2016年12月6日をもちまして、サイトを閉鎖させていただくことになりました。 今までサイトをご利用いただき、ありがとうございました。 アスキー・メディアワークスを引き続き、よろしくお願いいたします。
Hadoopのためのデータセットあれこれ - kj-ki’s blog
Hadoop common user MLを見ていたところ，Data for Testing in HadoopでHadoopで使えるデータセットってない? という質問がありました．その返信でいくつか紹介されているものがあったので，列記しておきます． 実データ Amazon Web Services Amazonが，Public Data Sets : Amazon Web Servicesとして，公開しています． Wikipedia Traffic Statisticsなんかもあったりして，面白いかもしれない． Mahout Mahoutが，Collections - Apache Mahout -として，公開しています． 外部サイトへのリンクなども雑多に並べてある感じ． データジェネレータ DataGeneratorHadoop Pig Wikiに記載されている，Make DataGe
疑似分散モードでHadoopインストール - kj-ki’s blog
さて，KVMを入れ終わりました．次は仮想マシン上でHadoopを動かします． ひとまず，お手軽に試せる疑似分散モードでインストールしてみましょう． 事前準備 必須ではないのですが，時刻がずれると色々と気持ち悪いので，NTPを有効にしておきます． cp /etc/ntp.conf /etc/ntp.conf.bak vi /etc/ntp.conf # NTPサーバを記述します．ここではMFEEDを指定しました． server ntp1.jst.mfeed.ad.jp server ntp2.jst.mfeed.ad.jp server ntp3.jst.mfeed.ad.jp 一度ntpdateで時刻合わせしてから，デーモン起動． ntpdate ntp1.jst.mfeed.ad.jp service ntpd start chkconfig ntpd on JDKインストール ここでJ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoopによる基幹バッチの高速化 ～基幹バッチ処理を4時間から短縮～ | EC-One
- Cloudera Open Source