Cloudera版hadoopセットアップ - hiuchidaの技術日記
hadoop, Clouderaきりんさん日記: 1台構成のHadoopを30分で試してみる(CentOS + Cloudera) OSはFedora 8(Amazon EC2)を使用する。sshでログインして、rootになる。 Jdk 6をインストールする。たまたま1.6.0_24が入っていた。 $ java -version java version "1.6.0_24" Java(TM) SE Runtime Environment (build 1.6.0_24-b07) Java HotSpot(TM) Client VM (build 19.1-b02, mixed mode, sharing) $ javac -version javac 1.6.0_24 CDH3 InstallationCDH3 Installation - Cloudera Support RHEL/C
Hadoop Streaming - naoyaのはてなダイアリー
id:naoya:20080511:1210506301 のエントリのコメント欄で kzk さんに教えていただいた Hadoop Streaming を試しています。 Hadoop はオープンソースの MapReduce + 分散ファイルシステムです。Java で作られています。Yahoo! Inc のバックエンドや、Facebook、Amazon.com などでも利用されているとのことです。詳しくは http://codezine.jp/a/article/aid/2448.aspx (kzk さんによる連載記事)を参照してください。 Hadoop Streaming 記事にもあります通り、Hadoop 拡張の Hadoop Streaming を使うと標準入出力を介するプログラムを記述するだけで、Hadoop による MapReduce を利用することができます。つまり、Java 以外
MapReduce - naoyaのはてなダイアリー
"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。 MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapReduce の計算モデル map() にはその計算問題のデータとしての key-value ペアが次々に渡ってきます。map() では key-value 値のペアを異なる複数の key-value ペアに変換します。reduce() には、map() で作った key-value ペアを同一の key で束ねたものが順番に渡ってきます。その key-values ペアを任意の形式に変換すること
Overview
概要 Hadoop のドキュメントでは、Hadoop、Hadoop Distributed File System (HDFS)、および Hadoop on Demand (HOD) を使い始めるのに必要な情報について説明しています。 まず、シングルノードの Hadoop をインストールする方法について説明した Hadoop クイックスタートを読んでください。次に、マルチノードの Hadoop をインストールする方法について説明した Hadoop クラスタセットアップを読んでください。Hadoop をインストールして動作するようになったら、Hadoop Map/Reduce チュートリアルに進んでください。 わからないことがあったら、Hadoop Core メーリングリストで質問するか、またはメーリングリストのアーカイブを参照してください。
いまさら聞けないHadoopとテキストマイニング入門
ビッグデータ時代の救世主「Hadoop」とは 「Apache Hadoop」は今、最も注目を集めている技術の1つです。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 Hadoopを活用している企業は年々増え続けていて、不可欠な技術になりつつあるといえるでしょう。 本連載では、Hadoopとは何か、Hadoopがどう活用できるのかということを、「テキストマイニング」に焦点を当てて解説していきたいと思います。 重い処理を複数のマシンに分散させる 複数のマシンに処理を分散させるには、プロセス同士の通信、監視、障害時の対応などを考えなければならず、プログラマにとってハードルが高いものです。しかし、Hadoopはそういった面倒くさい処理を一手に引き受けてくれ、プログラマは、やりたい処理だけに集中できます。 例えば、Hadoopを使うと、1
CDH3のインストール - wyukawa's diary
至る所に書かれてますがメモっとく。環境はMac10.6.7上のVirtualBox4.0.8上のCentOS5.6にCDH3を擬似分散モードでインストールします。ディスク容量はデフォルトの8Gより大きくした方がよさげ。なぜなら後で気軽に増やせないからw 増やすには 可搬性疑似仮想アプライアンスサーバーシステム構想 « Midnightjapan にあるようにLVMをうごうごしないといけません。 ちなみにディスク容量不足の状態でHDFSにデータ突っ込むと could only be replicated to 0 nodes, instead of 1というエラーがでますw ともあれ、インストール方法いきます。 本家の記事はこちら https://ccp.cloudera.com/display/CDHDOC/CDH3+Installation#CDH3Installation-Instal
1台構成のHadoopを30分で試してみる(CentOS + Cloudera)
(参考) Cloudera社のHadoopパッケージの情報 http://archive.cloudera.com/docs/ 必要なもの ・CentOS5かCentOS6のLinux環境1台(ここではCentOS5.6とCentOS6.0を使いました。CentOSの他バージョンや、Fedora、Redhat等でも大丈夫だと思います) ・インターネット接続 ・Sun社Javaパッケージ(パッケージファイルをインターネットから取得) ・Cloudera社のCDH3のHadoopパッケージ(yumでインターネットからインストール) 作業手順 0. 準備 0-1. Sun社Javaパッケージの取得 http://java.sun.com/javase/downloads/にて、 Java SE 6の[Download]ボタンを押して出る「Java SE Downloads」のページから必要なもの
Hadoop fs shell コマンド
年があけました. 今年もよろしくお願いします. UNIXというものに触れ始めてからようやく4ヶ月程度たちました. なぜこんなことになったかというと結局ちまたで話題のHadoopのせいです. tipsなどが日本語でまとまってあまり見当たらないのでやっていることはまとめておきます. まずはhadoop ファイルシステム(fs)のシェルコマンドをまとめ. Hadoop fs -* ・ファイル表示 -ls, -lsr $ hadoop fs -ls Found 1 items drwxr-xr-x - hadoop supergroup 0 2010-11-05 11:28 /user/hadoop/tera_1000 $ hadoop fs -ls /user/kimura/ Found 5 items drwxr-xr-x - hadoop supergroup 0 2010-12-06 15
Hadoop HDFSコマンド実行メモ（0.20.1）
# 全体のhelpを見る $ bin/hadoop dfs -help # コマンド単体のヘルプを見る $ bin/hadoop dfs -help ls -ls <path>: List the contents that match the specified file pattern. If path is not specified, the contents of /user/<currentUser> will be listed. Directory entries are of the form dirName (full path) <dir> and file entries are of the form fileName(full path) <r n> size where n is the number of replicas specified for the
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linux Memo/Hadoop Install - ISM PukiWiki