5分でできるHDFSクラスタ構築方法
概要 HDFSをベースとして動くアプリケーションは数多くありますが、HDFSクラスタを構築するのは少々面倒な感じがします。 しかし、Cloudera Managerを使えば5分でHDFSクラスタを構築できてしまうのです。 今回はこのCloudera Managerを使ってLinux(CentOS6.5)４台に Hadoop(HDFS + YARN) Hive をインストールしていきたいと思います。 この記事を書いた時のCloudera Managerのバージョンは5.2.1です。 Cloudera Managerのインストール 全サーバ必要条件 selinuxが無効であること 各ホスト間でsshログイン可能であること 各ホスト同士がFQDNで参照可能であること まずはselinuxを無効にします。 vi /etc/sysconfig/selinux ~ #SELINUX=enforcing
Apache Spark＋IPython notebook（＆Mesos）インストール〜動作確認
前回、Cloudera Managerを使ってHDFSクラスタを構築しました。 今回はこのHDFS上でApache Sparkを動かします。 Apache Sparkを扱うOSSのGUIをいろいろ探してみたのですが、現状ではIPython + notebook最強伝説です。 というわけでまずはMesosのマスター／スレーブを構築していきたいのですが、その前に、Mesosとは何か？です。 0. Mesosとは ■ Mesos 分散アプリケーションもしくはフレームワークに対して効率的なリソース分離、共有を提供するクラスタ管理アプリケーションです。 つまり、分散アプリケーションで実行されるタスクを管理し、効率的にリソース分配を行うものです。 要はYARNと同じ役割ですが、YARNとの違いは下記に詳しい記述がありました。 [Mesos]Hadoop YARNとApache Mesosの違いって何？
HDFSシェルコマンド一覧 | mwSoft
概要 HDFSをコマンドラインから操作する際に使える引数の一覧です。 下記のページを参考にしています。 HDFS File System Shell Guide http://hadoop.apache.org/common/docs/r0.20.0/hdfs_shell.html ls / lsr lsはLinuxなどのlsコマンドと同じ、指定ディレクトリのファイルの一覧を表示する。 $ hadoop fs -ls /user/hdfs Found 1 items drwxr-xr-x - hdfs supergroup 0 2011-11-11 01:35 /user/hdfs/sample ディレクトリを指定しない場合は/user/${ユーザ名}を見に行く。 ディレクトリが存在しない場合は、以下のようなエラーになる。 $ hadoop fs -ls ls: Cannot access
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
