You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
HDFS(Hadoop Distributed File System)はHadoopのデータストアとして使われる分散ファイルシステムである。 「Google File System」を元に設計されている。 高い耐障害性を持つこと、高いスループットが大きな特徴である。 また、大規模データ処理に使われるため、巨大なデータを格納できるように設計してある。 以下、メモ書き。 3 NameNode and DataNode HDFSはマスタースレーブ型のアーキテクチャを採用している。 マスターノードのことをNameNode、スレーブノードのことをDataNodeと呼ぶ。 NameNodeはファイルやディレクトリの操作をとり行う。また、ブロック(後述)をどのDataNodeで作成するかを決定する。 DataNodeはNameNodeからの命令を受けて、ブロックの作成・削除・複製を行う。 4 The
ノードの追加・削除といった Hadoop の運用面について少し調べてみたのでメモ。 ノードの追加 ノードを追加するにはだいたい以下のような手順となる。 Hadoop のソフトウェアをインストールする。 このとき、hadoop-env.sh や conf/*.xml も設定しておく。 NameNode、JobTracker ノードからパスワードなしで ssh ログインできるようにしておく。 NameNode, JobTracker の conf/slaves に追加したノードを追記する。 最後に、追加したノードで以下のコマンドを実行する。 $ cd $HADOOP_HOME $ ./bin/hadoop-daemon.sh start datanode $ ./bin/hadoop-daemon.sh start tasktracker これで、Hadoop クラスタにノードが追加され、HD
質問 git log でヒストリを追いかけようとすると、どうも過去にディレクトリツリーを大幅に変更したらしく、追いかけるのが大変です。 なんとかならないでしょうか。 回答 以下の3つのコミットハッシュをチェックアウトして、それぞれブランチを切っておけば多少は追いかけるのが楽になります。 pre-HADOOP-7560 コミットハッシュ eda88e7e1d1653643c959d547f672c9ad98f9dfb 最後のディレクトリ大改造。trunk だと git log 使ってもここまでしか追えないので超絶めんどくさい。そしてディレクトリ編成はこれだけではない。 pre-HADOOP-6671 コミットハッシュ 58ab6d673734f2ee9f514ac10a6d31655a1d1861 HADOOP-6671 でもかなり改造されてる。 pre-directory-name-cha
Mahout はやっぱり Hadoop の上で使ってこそでしょ。というわけで開発用にも Hadoop をセットアップしなければならない。 基本的に Hadoop は Linux で使うべき。Linux 上での疑似分散くらいまでなら結構簡単にセットアップできる。ネット上にいっぱい情報がある。Cloudera 使ってもいい(まだ使ったこと無いけど)。 スタンドアローンなら Windows でもそんなには難しくない。けど、疑似分散になると途端にやっかい。 そんなこんなで Windows 2008 x64 に Hadoop 0.21.0 を疑似分散でセットアップにチャレンジ。 最初に結論から。 Hadoop 0.21.0 は使うな。 Windows で Hadoop は使うな。 【追記】Mahout 0.4 が Hadoop 0.20.2 なので、最初からそれを使うのがベストだった。0.5-SNA
Fedora17でCDH4をインストールした。 また擬似分散モードでの起動を確認した。 インストール JDK6をインストールする CDH4がOracleのJDK6に依存しているので、 http://www.oracle.com/technetwork/java/javase/downloads/jdk6u37-downloads-1859587.htmlよりインストーラをダウンロードしてインストールする。 $ cd ダウンロード $ chmod +x jdk-6u37-linux-x64-rpm.bin $ sudo ./jdk-6u37-linux-x64-rpm.bin $ sudo alternatives --install /usr/bin/java java /usr/java/jdk1.6.0_37/bin/java 20000 ~/.bashrcに以下を追加する $ exp
とりあえずHadoop Core (CDH3なら、hadoop-0.20-0.20.2+923.194-1.noarch)だけインストールすれば、とりあえず使えるようになる。 ただ、何も設定しないと、 hadoop -fs ls hdfs://namenode:54310/tmp のように、FQDNで指定しないとアクセスできない。「hdfs://・・・」を省略すると、ローカルのファイルシステムにアクセスしにいく。 core-site.xml に fs.default.name を入れれば、デフォのファイルシステムを設定できる。
Private content!This content has been marked as private by the uploader.
Hadoopのインストール方法を紹介今日はHadoopのインストールして実行環境を作ってみましょう。 私のマシンはCentOS6.4ですが、Linux系でしたらほとんど共通していますので参考にしてください。 HadoopはJAVAで記述されていて、動かすにはJAVAのバージョン1.6以降が必要となります。Hadoopコミュニティは、JDKの利用を推奨しています。 【ということで、まずはJDKのインストール】 まぁ、デフォでJDK1.7xxが入っていましたが、せっかくなので最新版を入れてみました。 まずはJAVA SEのDOWNLOADSページ(http://www.oracle.com/technetwork/java/javase/downloads/index.html)にアクセスして、Java SE xxのダウンロードページに進んでください。(2013年9月1日時点での最新版は
1. みんなが気になる Vector Hadoop SQL Edition (Vortex) の仕組みとパフォーマンス - High Performance SQL on Hadoop - 新久保 浩二 2. アジェンダ • VectorやVector Hadoop SQL Editionの概要 • Vector Hadoop SQL Editionのアーキテクチャー • Vector Hadoop SQL Editionの特徴のいくつかをピックアップ • 簡単な疑似ベンチマークの結果 • 2015年の製品ロードマップ 3. 質問 • Hadoopを知っている人 • Hadoopを使っている人 • MapReduceを書いたことがある人 • Databaseを知っている人 • Databaseを使っている人 • SQLを書いたことがある人 100% 36% 7% 100% 100% 86%
Apache Kylin™ is an open source, distributed Analytical Data Warehouse for Big Data; it was designed to provide OLAP (Online Analytical Processing) capability in the big data era. By renovating the multi-dimensional cube and precalculation technology on Hadoop and Spark, Kylin is able to achieve near constant query speed regardless of the ever-growing data volume. Reducing query latency from minut
2015/5/21 Hadoopソースコードリーディング 第19回におけるリクルートテクノロジーズ堀越による発表資料になりますRead less
3. Copyright ©2015 Treasure Data. All Rights Reserved. 3 0 2000 4000 6000 8000 10000 12000 Aug-‐12 Sep-‐12 Oct-‐12 Nov-‐12 Dec-‐12 Jan-‐13 Feb-‐13 M ar-‐13 Apr-‐13M ay-‐13 Jun-‐13 Jul-‐13 Aug-‐13 Sep-‐13 Oct-‐13 Nov-‐13 Dec-‐13 Jan-‐14 Feb-‐14 M ar-‐14 Apr-‐14M ay-‐14 Jun-‐14 Jul-‐14 Aug-‐14 Sep-‐14 Oct-‐14 (単位)10億レコード サービス開始 Series A Funding 100社導入 Gartner社「Co
リピ君に声をかけられて分散処理システムCROSSというセッションに登壇してきた。立場としてはRiakという分散システムを商用製品として開発している人間…というわけだが、その前にはJubatusという分散システムを(一応)最初に設計して*1、他にもお仕事でいくつか設計したり開発してきた身。事前に打ち合わせと称して一度メンバーで飲んだときが盛り上がりのピークと思われ「裏番組すごいしどーせ誰も来ないだろせいぜい特定の5人だな」と話していたのだけども、蓋を開けてみると席が8割型埋まってしまうという盛況ぶり。で、途端に緊張し始めたわけで… とりあえず、自分が多少ウザくても主張したいことをキーノートスライドに入れておいて「ネットワークはキレるんです」とか言っておいたのだけど、それを話したところで会場はポカーンとしてしまっていたので僕の話はそこまで。いちおうPaxosとかRaftについて知ってる範囲で話
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く