How to install Apache Hadoop 2.6.0 in Ubuntu (Multinode/Cluster setup)
As you have reached on this blogpost of Setting up Multinode Hadoop cluster, I may believe that you have already read and experimented with my previous blogpost on HOW TO INSTALL APACHE HADOOP 2.6.0 IN UBUNTU (SINGLE NODE SETUP). If not then first I would like to recommend you to read it before proceeding here. Since we are interested to setting up Multinode Hadoop cluster, we must have multiple m
blog.katsuma.tv - hadoop Archive
HiveでのSQLことHQLの小ネタ。HQLでは基本的にSQLはほぼ完璧に利用できますが、たまにハマりポイントもあります。その１つが並び替えのORDER BY。 ORDER BYとSORT BY HQLの文法的にORDER BYは有効ですが、実際は並び替えは行われません。（無視されているような感じ）Hiveでは代わりに「SORT BY [column]」を利用することになります。 ただし、ここでも罠があって、SORT BYは結果がreducerの数に依存します。(各reducerがsort処理をしたものがマージされるものになるので、全体としてはおかしな結果を得ることになります) 通常、reducerは複数走っているはずなので、結局SORT BYを利用してもORDER BYと同等の結果を得ることができません。 では、どうするか？と言うと明示的にreducerの数を1に指定してからSORT B
Scala on Hadoop: Hadoop Conference - stanaka's blog
先日、Hadoop ConferenceでScala on Hadoopというタイトルで発表してきました。スライドを以下に置いておきます。 Scala on HadoopView more presentations from Shinji Tanaka. ダイジェストとして、ScalaをHadoopで動かすための方法を書いておきます。 まず、Hadoop上でScalaを実行させるためには、JavaとScalaを接続するライブラリが必要となります。ここでは、SHadoop( http://code.google.com/p/jweslley/source/browse/#svn/trunk/scala/shadoop )を使用します。SHadoopは、型変換を行うシンプルなライブラリです。 よくあるWordCountのサンプル、WordCount.scala (http://blog.jo
Hadoop Streaming 2008 年 9 月 30 日 1 Hadoop Streaming Hadoop Streaming は Hadoop ディストリビューションに付属するユーティリィティで、mapper あるいは reducer として任意の実行ファイルやスクリプトによ��
Hadoop Streaming 2008 年 9 月 30 日 1 Hadoop Streaming Hadoop Streaming は Hadoop ディストリビューションに付属するユーティリィティで、mapper あるいは reducer として任意の実行ファイルやスクリプトによる Map/Reduce ジョブの作成と実行を可能にします。 例えば: $HADOOP HOME/ bin /hadoop j a r $HADOOP HOME/hadoop−streaming . j a r \ −input myInputDirs \ −output myOutputDir \ −mapper / bin /cat \ −reducer / bin /wc 2 Streaming の動作 前述の例では、mapper と reducer はいずれも入力を（行単位で）stdin からリー
MountableHDFS - HADOOP2 - Apache Software Foundation
[machine1] ~ > df -kh /export/hdfs/ Filesystem Size Used Avail Use% Mounted on fuse 4.1P 642T 3.5P 21% /export/hdfs [machine1] ~ > ls /export/hdfs/ home tmp Trash user usr var These projects (enumerated below) allow HDFS to be mounted (on most flavors of Unix) as a standard file system using the mount command. Once mounted, the user can operate on an instance of hdfs using standard Unix utilities
RubyでHadoopをラップ、分散処理ツールキットが登場 － ＠IT
2009/05/12 米新聞社大手のニューヨーク・タイムズは5月11日、Rubyによる大規模分散処理のツールキット「Map/Reduce Toolkit」（MRToolkit）をGPLv3の下にオープンソースで公開したと発表した。MRToolkitは、すでに稼働しているクラスタ上のHadoopと合わせて使うことでRubyで容易にMap/Reduce処理を記述することができる一種のラッパー。処理自体はHadoopが行う。すでにHadoopを使っているユーザーであれば、中小規模のプロジェクトに対して、すぐにMRToolkitを適用可能としている。 デフォルトで有用なMap、Reduceの処理モジュールが含まれていて、数行のRubyスクリプトを書くだけで、例えば膨大なApacheのログからIPアドレス別の閲覧履歴をまとめるといった処理が可能という。独自にMapやReduceの処理を定義することも
Hadoop conference 2009に行ってきました | イベント | キャリア形成のお手伝い | あすなろBLOG
最近は仕事終えて、速攻で帰宅してから家事と育児の手伝いをしていたりして、どうしてもゆっくりとPCに向かう時間がなくってとっても久しぶりなブログの更新になりました。 今日は午後からHadoop Conferenceというイベントに参加したのですが、参加されている人達の層は自分の予想に反して意外とスーツ来た人が（含む自分）多いなぁというのが率直な所ですが、内容は前半が技術色が強く後半にビジネス的な側面の話という感じがして、自分のような立場の人間からするととってもバランス良く話が聞けて、かつ中身も濃かったので、参加してよかったです。 ※今回会場の提供や運営に関わった皆様、おつかれさまでした＆こういう濃い内容のものを実施していただきありがとうございます！ Macbook AIrのバッテリが持つ限りでメモを取ったのでいくつか気になった所をピックアップします（長文エントリでごめんなさい） ■Hado
Welcome to Apache Hadoop!
Apache Hadoop プロジェクトでは、信頼性の高いスケーラブルな分散コンピューティングのためのオープンソースソフトウェアを開発しています。Hadoop には以下のサブプロジェクトがあります。 Hadoop Common: Hadoop のほかのサブプロジェクトをサポートする共通のユーティリティです。 Avro: 各種スクリプト言語に動的に組み込み可能なデータ直列化システムです。 Chukwa: 大規模分散システムを管理するためのデータ収集システムです。 HBase: 巨大テーブル用の構造化データストレージをサポートするスケーラブルな分散データベースです。 HDFS: アプリケーションデータに対して高いスループットでのアクセスを可能にする分散ファイルシステムです。 Hive: データ・サマライゼーションやアドホックなクエリー操作を可能にするデータウェアハウス・インフラストラクチャです
Google Sites: Sign-in
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
Hadoopのインストールとサンプルプログラムの実行
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました（図1 参照）。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。 2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS（Hadoop Distributed File System）、Hadoop MapReduce F
Hadoop 調査報告書
Hadoop 調査報告書 エヌ・ティ・ティ レゾナント株式会社 株式会社 Preferred Infrastructure 平成 20 年 8 月 25 日 • 免責条項 本報告書はエヌ・ティ・ティ レゾナント株式会社 (以下「NTT レゾナント」）と株式会社 Preferred Infras- tructure(以下「Preferred Infrastructure」) が作成したものですが、報告書の内容及び情報の正確性、完全性、 有用性について、NTT レゾナント及び Preferred Infrastructure は保証を行なっておらず、また、いかなる責 任を持つものでもありません。 本報告書の著作権は NTT レゾナントに帰属します。 本報告書の「プリントアウト」「コピー」「無料配布」は可能ですが、変更、改変、加工、切除、部分利用、要 約、翻訳、変形、脚色、翻案などは禁止します
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Googleの基盤クローン Hadoopについて
http://www.cs.wisc.edu/condor/
IBM Developer
https://mail-archives.apache.org/mod_mbox/hadoop-core-user/200903.mbox/%3C49ABC0B3.9080603@apache.org%3E
HBaseの開発者がHadoop、BigTable、分散データベースについて語る
