Hadoop – HDFSの仕組み概要（個人メモ） – OpenGroove
MapReduceと並びHadoopの要とも言える分散ファイルシステムHDFSの仕様について、自分の頭を整理するためにまとめてみる。ほぼ参考書からの引用ではあるのだが、有益な情報があれば都度追記予定。なお、以下文中に記述したxmlのプロパティはCDH4に対応する。CDH3はプロパティが異なります。その他の仕様、xmlファイルも異なる場合あり。両方書いておければよいのだが、手が回らないので… HDFSで動作するデーモン NameNode（ネームノード）→ マスタで稼働 SecondaryNameNode（セカンダリネームノード）→ マスタで稼働 （別マシンで稼働させるケースもあり） DataNode（データノード）→ スレーブで稼働 ネームノードの役割 ファイルシステムのメタ情報であるファイルの位置情報や属性を一元管理し、クライアントからの指示を受け取りデータ処理をデータノードに指示する。メ
Hadoop0.23 MapReduceメモ(Hishidama's Hadoop0.23 MapReduce Memo)
概要 従来（Hadoop0.23より前）のMapReduceで作ったプログラムを（何も設定していない状態の）Hadoop0.23で動かすと、ちゃんと動く。 しかし、YARNのプログラムを動かすにはリソースマネージャーやノードマネージャーを起動しておく必要があるので、 逆にMapReduceプログラムはYARN環境で動いたわけではない、ということになる。 実のところ、何も設定していない状態のHadoop0.23でMapReduceプログラムを動かすと、ローカルモードで実行されるようだ。 YARN環境で動かすにはHadoop0.23の設定を変更する必要がある。 MapReduceをYARNで動かす設定 MapReduceプログラムをYARN（リソースマネージャーとノードマネージャーが動いている環境）で動かすには、以下の設定をする必要がある。 設定値 デフォルト値 備考
Hadoopクラスタ構築 AccessControlException: Permission denied - [WIP] karahiyoの日記
Hadoopクラスタ構築でつまったこととして 1. hadoop.tmp.dirの権限がおかしいといわれたケース 2. MapReduceジョブ実行時にAccessControlException: Permission deniedエラーのケース の2件についてのメモ ! 1. hadoop.tmp.dirの権限がおかしいといわれたケース $ hadoop jar hadoop-examples.jar pi 4 100 Error creating temp dir in hadoop.tmp.dir /hadoop due to 許可がありません 対処法 hadoop.tmp.dirの権限を修正します chmod 777 /hadoop! 2. MapReduceジョブ実行時にAccessControlException: Permission deniedエラーのケース $ had
![Hadoopクラスタ構築 AccessControlException: Permission denied - [WIP] karahiyoの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/6470e43d1d2e7748f92e0d0f8d8a96fc07f7e838/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F12704591929891382512%2F11696248318753493192%2F1467733053)
Hadoop0.23メモ(Hishidama's Hadoop0.23 Memo)
概要 Hadoop0.23.0は2011-11-11にリリースされた。 ただしまだstable（安定版）ではないので実運用では使うべきではないとのこと。 （Hadoop0.23はHadoop2.0になった。また、ClouderaのCDH4がHadoop2.0をベースとしている。[2012-06-08]） 0.23の前の最新版はHadoop0.21。 ただし安定版はHadoop0.20だった。CDH3もHadoop0.20をベースにしている。 …Hadoop0.22がどうなったのかは、聞いたことも無い(爆) Hadoop0.23は内部の構成（設計）が大幅に変更になっている。 HDFSフェデレーション federationは連合とかいう意味らしい。 従来のHDFSはNameNodeが1つしか無かったが、複数になった。複数のNameNodeで複数のDataNodeを管理するから“連合”なのかな？
Hadoopのインストールとサンプルプログラムの実行
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました（図1 参照）。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。 2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS（Hadoop Distributed File System）、Hadoop MapReduce F
- Game Lab -PukiWiki-
2020-01-21 android 2019-12-15 MenuBar Agda-Librarys 2019-06-11 Torque 2019-05-26 winでTreeVNC使い方 2019-05-25 qemu 2019-05-07 Mercurial 2019-05-04 golang 2019-04-24 tmux 2019-04-22 ポスター印刷 Hadoop の環境設定 † hadoop-2.0.0-alpha の環境設定を行ったのでメモする。 参考サイト： Hadoop2.0セットアップ mass00 に hadoop の設定を行った。hadoop のデータは mass00 の $HOME/share にいれてある。よって、他のクラスタからも $HOME/share よりアクセスできる。 mass00 以外のクラスタに datanode の設定を行いたい場合は以下の
Welcome to Apache™ Hadoop™!
This is the first release of Apache Hadoop 3.4 line. It contains 2888 bug fixes, improvements and enhancements since 3.3. Users are encouraged to read the overview of major changes. For details of please check release notes and changelog. This is a release of Apache Hadoop 3.3 line. It contains 117 bug fixes, improvements and enhancements since 3.3.5. Users of Apache Hadoop 3.3.5 and earlier shoul
MapReduceは今後どうなるのか？ - 急がば回れ、選ぶなら近道
2012年の現在、割と悩んでいるのでメモっておく。 年度末ぐらいに再調査の予定。・・なので暫定ですよ。 まず前提として、現行のHadoopの実行フレームワークであるMapReduceは、実行効率は決して良くはないです。この辺が割と辛い。 とはいえ、大規模並列処理を一般的に行うという観点での品質や取り回しを考えた場合、”結果として”非常にバランスがとれており、普及している。その上で、このMapReduceですが、今後の見通しについては、潮流は今のところ二つに割れているよう見える。ので、その辺のメモ。 ■YARN 一つの方向性は、現在のHadoop2.0系で実装されているMapReduce2.0、というか、MapReduceとは別の実行基盤を利用するという方向ですね。すなわちBSPや、MPIを利用する。要は、今までの並列処理の成果をそのまま利用しましょう、という流れに近い。 MapReduce
Hoopの性能を確認してみたらもうlibhdfsとかオワコンでHoop使えって結果になった - たごもりすメモ
前に書いた エントリ の通りHoopが有望な感じだったんだけどどのくらいの性能が出るのか見てみないことには本番投入して性能出ませんでした乙、ということになりかねない。ので見てみた。 なお検証に関係する環境としては以下の通り。ちなみに前はCDH3u1で試してたけど、今回はCDH3u2 (JDK6u29) on CentOS5。メモリが問題になることは全くないので全て省略。 ベンチ用サーバ Intel Xeon 4Core HT 2.4GHz データ中継サーバ (deliver) Intel Xeon 4Core HT 2.4GHz Hadoop NameNode (+JobTracker) (namenode) Intel Xeon 1Core HT 3.16GHz Hadoop DataNode + TaskTracker x9 Intel Xeon 1Core HT 3.16GHz Ho
1台構成のHadoopを30分で試してみる(Ubuntu + Cloudera)
(参考) Cloudera社のHadoopパッケージの情報 http://archive.cloudera.com/docs/ 必要なもの ・UbuntuやdebianのLinux環境1台(手元ではUbuntu Server 11.04/10.04/9.10/8.04, debian 5あたりで試していますが、他バージョンでも大丈夫だと思います) ・インターネット接続 ・Sun(Oracle)のJavaパッケージ(aptでインターネットからインストール) ・Cloudera社のCDH3のHadoopパッケージ(aptでインターネットからインストール) 作業手順 1. インストール: Linux環境にて、rootで作業します。 sudo su 1-1. Sun(Oracle)のJavaを入れます。(Sun(Oracle)のものが必要です。) ※ ここで、ubuntu 10や11の人は/etc
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービス終了のお知らせ
http://webcache.googleusercontent.com/search?q=cache:e4UxIFRtByUJ:metasearch.sourceforge.jp/wiki/index.php%3FHadoop0.23%25A5%25BB%25A5%25C3%25A5%25C8%25A5%25A2%25A5%25C3%25A5%25D7+&cd=3&hl=ja&ct=clnk&gl=jp&client=firefox-a
https://wiki.openstack.org/wiki/Sahara
IBM Developer