平成21年度産学連携ソフトウェア工学実践事業 (高信頼クラウド実現用ソフトウェア開発 (分散制御処理技術等に係るデータセンターの 高信頼化に向けた実証事業)) 事業成果報告書 2010 年 3 月 31 日 株式会社エヌ・ティ・ティ・データ 目次-1 目次 第1編... 続きを読む
id:kaigai の主催する勉強会で発表してきました。Hadoop for programmerView more presentations from shiumachi. 答えられなかった質問Shuffleフェーズって、ソートをどういう仕組みでやってるの? データ全部をなめてるの? Partitionerというクラスでデータ... 続きを読む
前回の記事では、Hadoopが膨大なデータをバッチ処理するための「インフラ」としての性質を備えていること、情報爆発時代の新たなインフラとして普及しつつあることを説明しました。その中で、情報爆発時代に必要とされるインフラは、「スケール・アウトが可能で... 続きを読む
こんにちわ。サービス開発担当の勝間です。クックパッドの1年の最大のピークであるバレンタインが終わり、少し落ち着きをとりもどした技術部からお届けします。 さて、先日秋葉原で「第0回 AWS User Group – Japan勉強会」が開催されました。100人を超す参加... 続きを読む
Ruby Freaks Lounge 第28回 RubyとHadoopで分散処理 Hadoop Streamingの仕組み 2010年1月18日 佐々木達也 Ruby, 分散処理, Hadoop, Amazon EC2/S3 Java, Streaming, Reduce 1 2 はじめに Hadoopとは,Googleの基盤技術であるMapReduceをJavaでオープンソース... 続きを読む
8月に入社した佐々木です。こんにちわ! 入社してからはHadoopを使うことが多く、日々、大規模データと格闘しています。大変ではありますが、個人ではなかなか触ることが出来ないような大規模データを触れるのは楽しいです。 さて、Hadoopは最近色々なところで... 続きを読む
こんにちは。クックパッド・イベント担当のスミです。 去る11/20(金)、クックパッドオフィスにて第一回techlifeライトニングトークを開催いたしました。 当日の模様をyoutubeにて公開いたしましたので、ぜひご覧くださいませ。 最初は、クックパッドの佐々木 ... 続きを読む
Hadoop World Report:優良企業はなぜHadoopに走るのか オープンソースの大規模分散データ処理システム「Hadoop」の人気がうなぎ登りだ。Yahoo!やAmazon、FacebookといったIT業界の巨人たちだけでなく、VISAやJP Morganといった有名企業までHadoopにコミットを... 続きを読む
GoogleのMapReduceとGFSのオープンソース実装「Hadoop」をご存じだろうか?YahooやAmazonでも利用されているフレームワークで、その可能性に今、大きな注目が集まっている。NYで開催されたイベントには、Cloudera、Amazon、Yahoo、IBM、Facebookといった豪華講... 続きを読む
はじめまして。今年の5月に入社した勝間@さがすチームです。 入社してからは、なかなか大変なことも多いですが、最近はお酒好きが集まって月曜から飲み合う 「勝間会」なるものも発足して、仕事面でも仕事以外の面でも密度の高い毎日を過ごしています! さて、... 続きを読む
Hadoop HiveはHadoop上でSQLライクなクエリ操作が可能なDWH向けのプロダクトです。SQLに近い操作が可能なため、HBaseよりもデータベースに慣れ親しんだみなさんには使い勝手がいいかもしれません。本稿ではこのHiveの使い方とレビューを行っていきます。 Hiveと... 続きを読む
Home > hadoop > SQL感覚でMap Reduce処理できるHiveについて Older SQL感覚でMap Reduce処理できるHiveについて 前回、JavaScriptでMap Reduceのコードが書けるHadoop Streamingについて紹介しました。 標準入出力さえサポートされてあれば、任意のコードでM... 続きを読む
Home > Java | Javascript > Hadoop Streamingを利用してJavaScriptでMap Reduce Older Hadoop Streamingを利用してJavaScriptでMap Reduce 久々のBlog更新、というわけでリハビリがてらJavaScriptで軽く遊んでみたいと思います。 いま、巷で流行ってるMapRed... 続きを読む
レベル: 中級Ken Mann, Software Developer, Freelance M. Tim Jones, Consultant Engineer, Emulex Corp. 2008年 12月 09日人々は毎日、検索エンジンを使ってインターネット上にあるテラバイトをはるかに超えるデータの中から特定のコンテンツを見つけています... 続きを読む
The Hadoop Documentation provides the information you need to get started using Hadoop, the Hadoop Distributed File System (HDFS), and Hadoop on Demand (HOD). Begin with the Hadoop Quick Start which shows you how to set up a single-node Hadoo... 続きを読む
事前セットアップ(各ノード) † 依存パッケージをインストールします(以下、例はdebian etchにて)。 # aptitude install ssh rsync sun-java5-jdk 実行ユーザ(hadoop)を追加します。 # adduser --shell /bin/sh --uid 10001 --disabled-password hadoop ... 続きを読む
詳しくは、 Googleライクなオープンソースインフラストラクチャ「Hadoopプロジェクト」が弾みをつける 本家 http://hadoop.apache.org/core/ ・・・遊んでみよう! ============================= インストール&設定 Hadoop構成: server1 : JobTracker... 続きを読む
Post to Twitter Post: Hadoop From: kakuda, 11 months ago HadoopView SlideShare presentation or Upload your own. (tags: hadoop mapreduce) Yahoo!でも使われているMapReduceのオープンソース版「Apache Hadoop」の紹介と動かし方 SlideShare Link close... 続きを読む
The logging level for dfs namenode. Other values are "dir"(trac e namespace mutations), "block"(trace block under/over replications and block creations/deletions), or "all". 続きを読む
"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。MapReduce の面白いところは、map() と reduce() という二... 続きを読む
Hadoop streaming is a utility that comes with the Hadoop distribution. The utility allows you to create and run map/reduce jobs with any executable or script as the mapper and/or the reducer. For example: $HADOOP_HOME/bin/hadoop jar $HADOOP_H... 続きを読む