Apache Ambariを試してみる - すだちっこのOrdinary Days
今回はApache AmbariでHDPをインストールしてみました。 AmbariはHadoopの管理ツールでHortonWorksのHDPクラスタが簡単に構築出来ます。 ClouderaでいうClouderaManager的なものです。 構成 Server（管理コンソール）1台 Agent（HDPクラスタホスト）5台 事前準備 SElinux/iptables/名前解決（DNS/hosts） sshログイン 鍵認証パスワードなし管理者権限 インストール バージョンはAmbari 2.0.0です。 Server1台で実施 # wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.0.0/ambari.repo ambari.repo [Updates-ambari-2.0.0] name=ambari-
Emerge Technology: [翻訳]Hadoopで動くPythonのMapReduceプログラムを書く
HadoopフレームワークはJavaで書かれていますが、Hadoop上で動くプログラムはJavaで記述する必要はありません。PythonやC++(バージョン0.14.1以降)のような他の言語で開発することができます。しかし、Hadoopのホームページのドキュメントや最も重要なPythonのサンプルコードを読むと、PythonコードをJythonを使ってJavaのjarファイルに変換しないといけないように考えてしまいます。明らかに、この方法はきわめて不便で、もし、Jythonが提供していないPythonの機能を使っている場合はともて問題です。Jythonのアプローチのもう一つの問題は、Hadoopと連携させてPythonプログラムを書くオーバーヘットです。<HADOOP_INSTALL>/src/examples/python/WordCount.pyを見れば、言っていることがわかると思いま
![Emerge Technology: [翻訳]Hadoopで動くPythonのMapReduceプログラムを書く](https://cdn-ak-scissors.b.st-hatena.com/image/square/aabef9a324563f80f39c7397fcffe7b500347092/height=288;version=1;width=512/http%3A%2F%2F3.bp.blogspot.com%2F_ssj0PqDmv7c%2FSgPANHCJ4MI%2FAAAAAAAAAtQ%2FfnI7sPPPlHo%2Fw1200-h630-p-k-no-nu%2FHadoop-web-interface-screenshot.png)
hadoopのsafemodeとfsck | Nobwak's Lair
Hadoopのnamenode兼datanodeが電源瞬断のせいで壊れてしもうた。 勉強用のHadoopなのでダメージはないのだが、せっかくなのでfsckなどを試した結果を記す。 hadoop-1.0.0。 OS側でもfsckはしておいた。 サマリ HDFSにもfsckがある。 hadoop fsckでチェック、修正できる。 hadoop fsckと叩けば使い方の簡単な説明が表示される。 namenodeがsafemodeのためにHDFSが読み取り専用になっていることがある。 読み取り専用ではfsckで修正できないので、safemodeから出る必要がある。 HDFSでのfsck hadoop fsck ＜path＞と指定すればよい。 CORRUPT!とのことで、壊れておりますなあ。
CDH4.1オーバービュー
Cloudera World Tokyo 2012 で発表した、CDH4.1の概要説明に関する資料です。Read less
HDFSネームノードのHAについて #hcj13w
Hadoop Conference Japan 2013 Winter で発表した、ネームノードHA についての資料です。10分だったのでかなり限定的な説明に終わっています。Read less
TwitterにおけるHadoopとLuceneを利用した大規模データ解析について - nokunoの日記
Twitterについては先日の記事でフロントエンドのBlenderを紹介しましたが、バックエンドやデータ解析のシステムにも興味があります。ちょうどData-Intensive Text Processing with MapReduceで有名な@lintool先生の新しい論文が公開されていたので読んでみました。Full-Text Indexing for Optimizing Selection Operations in Large-Scale Data Analytics(pdf)ACMのMapReduce'11というワークショップで発表された内容のようです。この論文を読んで初めて知ったのですが、Lin先生はサバティカル休暇（大学教授が長期の休みを取れる制度）でTwitterに来ており、データ解析チームで働いているそうです。この論文もTwitterエンジニアの@squarecogさんと
Facebook、Hadoopのスケーラビリティ問題を解決する、独自の「Hadoop Corona」をオープンソースで公開
Facebook、Hadoopのスケーラビリティ問題を解決する、独自の「Hadoop Corona」をオープンソースで公開 Facebookでは、24時間ごとに0.5ペタバイトのデータが生成され、それらを分析するために毎日6万回以上ものHiveのクエリが実行されているそうです。 こうした大規模処理を行うプラットフォームとして使われているのがHadoop。しかしFacebookはHadoop MapReduceのスケーラビリティに限界を感じており、それを解決するための新しいソフトウェア「Hadoop Corona」を開発、オープンソースで公開しました。 Facebookのページ「Under the Hood: Scheduling MapReduce jobs more efficiently with Corona」では、従来のHadoop MapReduceのどこに課題があったのか、4つ
Hadoop／HBaseの内部動作を可視化するソフトウェア「halook」をOSSで公開
Hadoop内部の負荷状況などをグラフィカルに表示するOSSツールが登場。Javaプログラム解析ツールを流用し、HTML5などを駆使して内部の挙動を可視化する Acroquest Technologyは、2012年11月9日、Hadoop／HBaseの内部動作を可視化するソフトウェア「halook」をオープンソースソフトウェアとして公開した。CDH 3u4、3u5で動作確認済み。 Hadoopは分散処理を行うため、多数のノードを連携して動作する。データの処理が多数のノード、多数のプロセスで実行されるため、処理中に問題が発生した際の調査が非常に困難とされる。halookは、Hadoopシステムにおける障害や稼働状況そのものの可視化を実現している。可視化の対象は、並列処理タスク、Region、データノード。 HDFSのクラスタノード「DataNode」のデータの偏りを可視化する「HDFS Da
並列分散処理の常識をHadoopファミリから学ぶ
Hadoopプロジェクトは3つの「サブプロジェクト」で構成されています。 Common：Hadoopの基本機能FileSystem、RPC、Serializationのライブラリ HDFS：分散ストレージを仮想的に1つに扱うためのファイルシステム MapReduce：膨大なデータセットをクラスタ上で分散処理するためのソフトウェアフレームワーク これらが、「Hadoopファミリ」の核であり、並列分散処理機構を支えています。それ以外の「関連プロジェクト」は2011年12月時点では下記のようになっています。 Avro：Commonの持つ機能を拡張したデータシリアライズシステム Cassandra：単一障害点のないスケーラブルなマルチマスタデータベース Chukwa：大規模な分散システムでのデータ収集システム HBase：大規模な構造化データをサポートする、スケーラブルな分散データベース Hive
Kafkaによるリアルタイム処理
This document discusses Kafka, a distributed messaging system originally created by LinkedIn and now an Apache project. It provides an overview of how Kafka works and how various companies use it, including for log processing (LinkedIn), analytics (Facebook, Twitter, Google), and integrating with other technologies like Hadoop, Zookeeper, HBase and Storm. It also covers Kafka's scalability, perfor
分散ファイルシステムHDFSを体験する
Googleが使っている分散ファイルシステム「GFS」のオープンソースによる実装が、Hadoopの「HDFS」です。ファイルシステムというと、Windowsの「FAT32」や「NTFS」、Linuxの「ext3」や「ext4」などが有名ですが、HDFSはそれらとはちょっと使い勝手が違います。ここでは、実際にHDFSを使ってみます。 とはいえ多数のPCを用意するのは大変でしょうから、ここでも疑似分散モードで動かします。同じマシン上に複数のHDFSのデーモンを立ち上げる方法です。HDFSのデーモンとは前で説明したように、NameNodeやDataNodeです。擬似分散モードでも、複数のデーモンが協調して動くことで、HDFSを利用できるようになります。実際にHDFSを体験してみる前に、HDFSとはどういうファイルシステムなのか簡単に理解しておきましょう。 すでに説明したとおり、HDFSではNam
触ってみよう！ビッグデータを支えるクラウド技術
サーバーの台数を増やせば増やすほどリニアに性能が向上することを目指した処理方法が注目されています。例えば「MapReduce」という処理方法などです。また、ボトルネックになりがちな従来のデータベースに代わる「NoSQL」や「分散キー・バリュー型データストア」など新しいタイプのデータストア技術への期待も高まっています。 ビッグデータ時代を迎えるに当たり、クラウド技術がどのようになっているのか理解するには、実際に使ってみるのがよいでしょう。クラウド技術の多くは、ソフトウエアがオープンソースで提供されるだめ、タダで動かしてみることができます。ぜひ記事の通りに実際に手を動かして操作してみてください。紹介するほとんどは、OSとしてLinuxを用います。 目次
NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
Hadoopがバージョン1.0へ。2.0、3.0の議論も進む
大規模分散処理フレームワークのHadoopの最新安定版「Hadoop 1.0.0」が、昨年12月27日に公開されました。これは、これまで安定版として開発されていた「Hadoop 0.20」ブランチの最新バージョンを1.0.0としたものです。 Hadoopは、前身となるNutchが2002年にDoug Cutting氏によって開発され、（このビデオの10分頃のCutting氏の発言によると）2008年にNutchからHadoopプロジェクトが分離。約4年を経てバージョン1.0へと到達したことになります。 今回バージョン1.0.0となった旧0.20ブランチのほかに、Hadoopには0.22、0.23など複数のブランチで開発が進んでおり、Hadoopに対する新しい機能、例えば従来のMapReduceを完全に書き換えたMapReduce 2などはこれら新しいブランチに対して実装が行われています。
hadoopのバージョン表記について - 科学と非科学の迷宮
(2012/01/10 追記) Cloudera 社から hadoop 1.0 に関する公式ブログ記事が公開されました。そちらの方がより分かりやすく正確に書いています。まずはそちらをご覧ください。 先日 hadoop-1.0 がリリースされたことが巷で話題になっています。 話題になること自体は構わないのですが、この 1.0 が実は 0.20 系の派生だということはあまり理解されていないように見えます。 1.0.0 は従来のバージョンナンバリングポリシーで言えば 0.20.205.1 に相当するものです。 つまり、最新版 0.23 で採用された MapReduce2 を初めとする様々な新機能はこの 1.0 には入っていないということです。 わかりやすく図にしてみました。 よって、新機能を試したいとかいう人には全くおすすめしません。 また、上記の通り既存のバージョンとなんら変わりがないので、た
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloudera | ハイブリッドデータカンパニー
https://www.ospn.jp/osc2012-spring/PDF/osc2012spring_HP_HBase_Report.pdf
Hadoop、hBaseで構築する大規模分散データ処理システム