Title Hadoop Conference Japan 2011 Fall Date 2011/09/26 10:00～18:30 Place ベルサール汐留 Organizer Hadoopユーザ会 Support 株式会社リクルート
QuestionVOTE!! | Hadoop Conference Japan 2011 Fall
Title Hadoop Conference Japan 2011 Fall Date 2011/09/26 10:00～18:30 Place ベルサール汐留 Organizer Hadoopユーザ会 Support 株式会社リクルート
Hadoop HDFSコマンド実行メモ（0.20.1）
# 全体のhelpを見る $ bin/hadoop dfs -help # コマンド単体のヘルプを見る $ bin/hadoop dfs -help ls -ls <path>: List the contents that match the specified file pattern. If path is not specified, the contents of /user/<currentUser> will be listed. Directory entries are of the form dirName (full path) <dir> and file entries are of the form fileName(full path) <r n> size where n is the number of replicas specified for the
mahout/レコメンドシステムの作り方 - PukiWiki
プロジェクトの作成 † mavenを使ってレコメンド・アプリケーションを作成します。 最初に、プロジェクトを作成します。 $ mvn archetype:create -DgroupId=sample.recommendApp -DartifactId=recommendApp -Dversion=0.0.1 ↑ pomファイルの変更 † pom.xmlのdependecyに以下の項目を追加します。 <dependency> <groupId>org.apache.mahout</groupId> <artifactId>mahout-core</artifactId> <version>0.2</version> </dependency> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-jcl</artifactI
Deploying a massively scalable recommender system with Apache Mahout | “I for one welcome our new computer overlords”
"I, for one, welcome our new computer overlords." This is the blog of Sebastian Schelter, a Ph.D. student at TU Berlin in the day time and committer at Apache Mahout at night time. I write down my thoughts about large scale data analysis, open source software and internet politics here. Introduction The purpose of this post is to explain how to use Apache Mahout to deploy a massively scalable, hig
ウルシステムズ、業界初、基幹バッチ用のHadoopフレームワーク「Asakusa」 を開発、オープンソース化して提供開始 | ウルシステムズ株式会社
ウルシステムズ、業界初、基幹バッチ用のHadoopフレームワーク「Asakusa」 を開発、オープンソース化して提供開始 ウルシステムズ株式会社（本社:東京都中央区、代表取締役社長:漆原 茂、以下 ウルシステムズ）は、基幹業務システムのバッチを高速処理するためのソフトウェアフレームワーク 「Asakusa FrameworkTM（以下、Asakusa）」を業界で初めて開発、オープンソース化して提供することを発表します。 クラウド技術の普及が進むと共に、企業内システムへの適用の検討が進んでいます。特にHadoop（注1）は、オープンソースの分散処理基盤ソフトウェアとして注目を浴びており、大容量データを多数のサーバーに分散し並列処理させることで高速なデータ処理を実現できます。しかしこれまでは、Webデータの分析や消費者の行動解析などのB2C分野での利用がほとんどであり、企業の基幹業務システムに
見えてきたHadoopの“使いどころ”─「Hadoop Hack Night Vol.2」開催 | gihyo.jp
見えてきたHadoopの“使いどころ”─「Hadoop Hack Night Vol.2」開催 8月4日、六本木ミッドタウンのヤフー株式会社にて、今回で2回目となるHadoopをテーマにしたイベント「Hadoop Hack Night Vol.2」が開催された。 Hadoop（ハドゥープ）は、いま注目のクラウドコンピューティングなどに利用されているMapReduce技術が使えるオープンソースソフトウェア。大規模なデータの解析処理などに分散システムを利用したい場合に大きな力を発揮する。 このように注目を集めているHadoopだが、実際に数テラバイト以上といった大容量のデータを処理しなければならないケースはまだそれほど多くない。大きな期待を集めながら「生きた実例」に乏しいのもHadoopをめぐる1つの状況だろう。そこで、今回の「Hadoop Hack Night Vol.2」は「ケーススタディ
新しいことをしよう
皆さんは「Hadoop」をご存じでしょうか。Googleの大規模分散処理技術を模したオープンソースソフトウエアで、安価なPCサーバーを連ねて数テラ～数ペタバイトのデータを解析できます。既に米国では、米Visaや米JPMorgan Chaseのような大手金融機関もHadoopを大規模に利用し始めています。2009年11月には日本にも「Hadoopユーザー会」が発足しました。 記者は2009年11月16日に開催された「Hadoop Conference Japan 2009」で、「データセンター視点で考えてみるHadoop」という簡単なスピーチをさせてもらいました。その内容が意外に好評だったので、本欄でスピーチを「誌面再現」してみたいと思います。なお、同イベントの他の発表については、記者が執筆した記事をご覧ください（関連記事：分散処理ソフト「Hadoop」のユーザー会が日本で発足、企業の導入が
Hadoopメモ
yoshitsuguです。 明けましておめでとうございます。 いや、仕事始めは昨日だったんだけれども。 クラウドコンピューティングがもてはやされてます。Hadoopはその中心的な技術のような扱いですね。 しかし、実は、私、Hadoopとクラウドの関係がいまいち解ってません。 大量データの処理がなんでクラウドコンピューティングと紐付くのでしょうか。 クラウドコンピューティングの大まかな定義は、 「『ネットの向こう側＝雲の向こう側』で実行されるアプリケーション群を利用すること」 だと認識しています。 代表はGMail、GoogleDocumnent、GoogleAppEngine、AmazonEC2など。 広い意味ではWebMail系のWebアプリケーションも含まれるのでしょうか。 GoogleDocumentやGoogleAppEngineの裏側でGFSやBigTableやMapReduce
データセンター視点で考えてみるHadoop
HadoopカンファレンスJapanで行ったクロージングスピーチのスライドです。 日経BP社、日経コンピュータ編集部の中田が行いました。Read less
分散処理ソフト「Hadoop」のユーザー会が日本で発足、企業の導入が広がる
オープンソースの分散処理ソフトウエア「Hadoop」の日本におけるユーザー会「Hadoopユーザー会」が2009年11月13日に発足した。Hadoopは米グーグルの分散処理ソフト「GFS」「MapReduce」を模したもの。同日開催した「Hadoop Conference Japan 2009」には200人以上のエンジニアなどが集まり、Hadoopコンサルティングを行う米クラウデラ、ユーザー企業の楽天、はてななどが講演した。 Hadoopはグーグルが2004年までに公開したGFSやMapReduceの論文を基に、プログラマーのダグ・カッティング氏が2005年に開発したソフトウエア。カッティング氏は2009年に、米ヤフーからクラウデラに移籍している。クラウデラは、グーグルで上級ソフトウエアエンジニアを務めたクリストフ・ブシーリヤ氏らが2008年に起業したベンチャー企業で、Hadoop関連のツ
HudsonクラスタをHadoopクラスタに - 川口耕介の日記
仕事では30-40ノード位のHudsonクラスタを運用しているのですが、常々、このクラスタをもっと多用途に使えたら便利だと思っていました。 HadoopをHadoop推奨の方法でインストールしてもよいのですが、ネットワークの情報等をHudsonとHadoopに別々に教えないといけないのは不便です。そこで、週末を２つ使って、HudsonクラスタにHadoopを展開するためのプラグインを書きました。Hadoopのコードを読むのに少し手間取りましたが、一度肝を掴んでからは比較的簡単でした。 このプラグインをインストールすると、Hudsonのクラスタ全域でHadoopノードが実行され、またネットワークの設定に関する情報が自動的にHudsonからHadoopへ伝えられます。ユーザーは、HadoopプラグインをHudsonにインストールする以外にはやることはなにもありません。いわゆる「zero con
Hadoopのインストールとサンプルプログラムの実行
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました（図1 参照）。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。 2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS（Hadoop Distributed File System）、Hadoop MapReduce F
Apache Hadoop のインストール
参考 Web ページ: http://hadoop.apache.org/core/ インストール前に，あらかじめ決めておく事項 Apache Hadoop インストールディレクトリを決めておくこと． この Web ページでは，次のように書きます． Apache Hadoop インストールディレクトリ: /usr/local JDK のインストールディレクトリを調べておくこと． この Web ページでは，次のように書きます． JDK インストールディレクトリ: /usr/java/jdk1.6.0_11 Apache Hadoop のインストール手順 前準備 Linux イントールと設定 の Web ページに従って，Cent OS のインストールが済んでいること． SSH サーバ の Web ページの記述に従って，次の設定を終えていること．セキュリティ上，重要 ユ
Welcome to Apache™ Hadoop™!
This is the first release of Apache Hadoop 3.4 line. It contains 2888 bug fixes, improvements and enhancements since 3.3. Users are encouraged to read the overview of major changes. For details of please check release notes and changelog. This is a release of Apache Hadoop 3.3 line. It contains 117 bug fixes, improvements and enhancements since 3.3.5. Users of Apache Hadoop 3.3.5 and earlier shoul
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NextGen Apache Hadoop MapReduce
Flume User Guide
Overview