GitHub - apache/hadoop: Apache HadoopYou signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
HDFS Architecture Guideを読んだ - ほげほげ日記
HDFS(Hadoop Distributed File System)はHadoopのデータストアとして使われる分散ファイルシステムである。 「Google File System」を元に設計されている。 高い耐障害性を持つこと、高いスループットが大きな特徴である。 また、大規模データ処理に使われるため、巨大なデータを格納できるように設計してある。 以下、メモ書き。 3 NameNode and DataNode HDFSはマスタースレーブ型のアーキテクチャを採用している。 マスターノードのことをNameNode、スレーブノードのことをDataNodeと呼ぶ。 NameNodeはファイルやディレクトリの操作をとり行う。また、ブロック(後述)をどのDataNodeで作成するかを決定する。 DataNodeはNameNodeからの命令を受けて、ブロックの作成・削除・複製を行う。 4 The
ノードの追加・削除 - kikumotoのメモ帳
ノードの追加・削除といった Hadoop の運用面について少し調べてみたのでメモ。 ノードの追加 ノードを追加するにはだいたい以下のような手順となる。 Hadoop のソフトウェアをインストールする。 このとき、hadoop-env.sh や conf/*.xml も設定しておく。 NameNode、JobTracker ノードからパスワードなしで ssh ログインできるようにしておく。 NameNode, JobTracker の conf/slaves に追加したノードを追記する。 最後に、追加したノードで以下のコマンドを実行する。 $ cd $HADOOP_HOME $ ./bin/hadoop-daemon.sh start datanode $ ./bin/hadoop-daemon.sh start tasktracker これで、Hadoop クラスタにノードが追加され、HD
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop （Cloudera World Tokyo 2014 LT講演資料）
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop （Cloudera World Tokyo 2014 LT講演資料）
trunk の hadoop の git log を効率よく追いかける方法 - Qiita
質問 git log でヒストリを追いかけようとすると、どうも過去にディレクトリツリーを大幅に変更したらしく、追いかけるのが大変です。 なんとかならないでしょうか。 回答 以下の3つのコミットハッシュをチェックアウトして、それぞれブランチを切っておけば多少は追いかけるのが楽になります。 pre-HADOOP-7560 コミットハッシュ eda88e7e1d1653643c959d547f672c9ad98f9dfb 最後のディレクトリ大改造。trunk だと git log 使ってもここまでしか追えないので超絶めんどくさい。そしてディレクトリ編成はこれだけではない。 pre-HADOOP-6671 コミットハッシュ 58ab6d673734f2ee9f514ac10a6d31655a1d1861 HADOOP-6671 でもかなり改造されてる。 pre-directory-name-cha
Mahout の開発環境を Maven+Eclipse で作る (2) Hadoop セットアップ - 木曜不足
Mahout はやっぱり Hadoop の上で使ってこそでしょ。というわけで開発用にも Hadoop をセットアップしなければならない。 基本的に Hadoop は Linux で使うべき。Linux 上での疑似分散くらいまでなら結構簡単にセットアップできる。ネット上にいっぱい情報がある。Cloudera 使ってもいい(まだ使ったこと無いけど)。 スタンドアローンなら Windows でもそんなには難しくない。けど、疑似分散になると途端にやっかい。 そんなこんなで Windows 2008 x64 に Hadoop 0.21.0 を疑似分散でセットアップにチャレンジ。 最初に結論から。 Hadoop 0.21.0 は使うな。 Windows で Hadoop は使うな。 【追記】Mahout 0.4 が Hadoop 0.20.2 なので、最初からそれを使うのがベストだった。0.5-SNA
Fedora17でCDH4をインストールし、擬似分散モードを起動させた際のメモ - mmitouの日記
Fedora17でCDH4をインストールした。 また擬似分散モードでの起動を確認した。 インストール JDK6をインストールする CDH4がOracleのJDK6に依存しているので、 http://www.oracle.com/technetwork/java/javase/downloads/jdk6u37-downloads-1859587.htmlよりインストーラをダウンロードしてインストールする。 $ cd ダウンロード $ chmod +x jdk-6u37-linux-x64-rpm.bin $ sudo ./jdk-6u37-linux-x64-rpm.bin $ sudo alternatives --install /usr/bin/java java /usr/java/jdk1.6.0_37/bin/java 20000 ~/.bashrcに以下を追加する $ exp
HDFS クライアントのみのインストール - ritchiekotzen's blog
とりあえずHadoop Core （CDH3なら、hadoop-0.20-0.20.2+923.194-1.noarch）だけインストールすれば、とりあえず使えるようになる。 ただ、何も設定しないと、 hadoop -fs ls hdfs://namenode:54310/tmp のように、FQDNで指定しないとアクセスできない。「hdfs://・・・」を省略すると、ローカルのファイルシステムにアクセスしにいく。 core-site.xml に fs.default.name を入れれば、デフォのファイルシステムを設定できる。
Private Presentation
Private content!This content has been marked as private by the uploader.
Hadoopのインストール | ビッグデータなう
Hadoopのインストール方法を紹介今日はHadoopのインストールして実行環境を作ってみましょう。 私のマシンはCentOS6.4ですが、Linux系でしたらほとんど共通していますので参考にしてください。 HadoopはJAVAで記述されていて、動かすにはJAVAのバージョン1.6以降が必要となります。Hadoopコミュニティは、JDKの利用を推奨しています。 【ということで、まずはJDKのインストール】 まぁ、デフォでJDK1.7xxが入っていましたが、せっかくなので最新版を入れてみました。 まずはJAVA SEのDOWNLOADSページ(http://www.oracle.com/technetwork/java/javase/downloads/index.html)にアクセスして、Java SE xxのダウンロードページに進んでください。(2013年9月1日時点での最新版は
Dbts2015 tokyo vector_in_hadoop_vortex
1. みんなが気になる Vector Hadoop SQL Edition (Vortex) の仕組みとパフォーマンス - High Performance SQL on Hadoop - 新久保 浩二 2. アジェンダ • VectorやVector Hadoop SQL Editionの概要 • Vector Hadoop SQL Editionのアーキテクチャー • Vector Hadoop SQL Editionの特徴のいくつかをピックアップ • 簡単な疑似ベンチマークの結果 • 2015年の製品ロードマップ 3. 質問 • Hadoopを知っている人 • Hadoopを使っている人 • MapReduceを書いたことがある人 • Databaseを知っている人 • Databaseを使っている人 • SQLを書いたことがある人 100% 36% 7% 100% 100% 86%
Apache Kylin | Analytical Data Warehouse for Big Data
Apache Kylin™ is an open source, distributed Analytical Data Warehouse for Big Data; it was designed to provide OLAP (Online Analytical Processing) capability in the big data era. By renovating the multi-dimensional cube and precalculation technology on Hadoop and Spark, Kylin is able to achieve near constant query speed regardless of the ever-growing data volume. Reducing query latency from minut
Spark／MapReduceの 機械学習ライブラリ比較検証
2015/5/21 Hadoopソースコードリーディング 第19回におけるリクルートテクノロジーズ堀越による発表資料になりますRead less
Hivemall v0.3の機能紹介＠1st Hivemall meetup
3. Copyright ©2015 Treasure Data. All Rights Reserved. 3 0 2000 4000 6000 8000 10000 12000 Aug-‐12 Sep-‐12 Oct-‐12 Nov-‐12 Dec-‐12 Jan-‐13 Feb-‐13 M ar-‐13 Apr-‐13M ay-‐13 Jun-‐13 Jul-‐13 Aug-‐13 Sep-‐13 Oct-‐13 Nov-‐13 Dec-‐13 Jan-‐14 Feb-‐14 M ar-‐14 Apr-‐14M ay-‐14 Jun-‐14 Jul-‐14 Aug-‐14 Sep-‐14 Oct-‐14 (単位)10億レコード サービス開始 Series A Funding 100社導入 Gartner社「Co
Hadoopはどのように動くのか ─並列・分散システム技術から読み解くHadoop処理系の設計と実装 記事一覧 | gihyo.jp
第21回Sparkの設計と実装［2］～Sparkにおけるデータ共有の仕組みと耐障害性の実現方法 猿田浩輔，山田浩之 2016-06-08
Private Presentation
Private content!This content has been marked as private by the uploader.
エンジニアCROSS 2014で登壇してきた - kuenishi's blog
リピ君に声をかけられて分散処理システムCROSSというセッションに登壇してきた。立場としてはRiakという分散システムを商用製品として開発している人間…というわけだが、その前にはJubatusという分散システムを（一応）最初に設計して*1、他にもお仕事でいくつか設計したり開発してきた身。事前に打ち合わせと称して一度メンバーで飲んだときが盛り上がりのピークと思われ「裏番組すごいしどーせ誰も来ないだろせいぜい特定の５人だな」と話していたのだけども、蓋を開けてみると席が8割型埋まってしまうという盛況ぶり。で、途端に緊張し始めたわけで… とりあえず、自分が多少ウザくても主張したいことをキーノートスライドに入れておいて「ネットワークはキレるんです」とか言っておいたのだけど、それを話したところで会場はポカーンとしてしまっていたので僕の話はそこまで。いちおうPaxosとかRaftについて知ってる範囲で話
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
メキメキ開発の進む Apache Sparkのいまとこれから （Spark Casual Talk #1 発表資料）
運用を楽にするためのアプリケーションコードを書くということ : sonots:blog
Hadoop関連（全部俺） Advent Calendar 2014 - Adventar
