インフラエンジニアのためのHadoop情報 PuppetとHadoop：So-net Developer Blog：So-netブログ
Hadoopでは、各ノードの設定ファイルを基本的に同一にしておく必要があります。 （ローカル特有な設定は除く） クラスタに係わる設定を変更したい時は、全てのノードの設定ファイルを変更しなければ いけないので、大変です。 しかも、Cloudera版Hadoopは全てのノードのサービスを再起動する必要もあります。 Hadoopクラスタ内のどこか１台をマスタにして、他のホストと設定を同期するようにしましょう。使用するのは、システム管理ツールとして知られるPuppet。 Puppetのインストールと基本設定については、 http://gihyo.jp/admin/serial/01/puppet に詳しく紹介されているので、参考にしてインストールします。 ここでは、Hadoopの設定ファイル同期について紹介します。 puppetにはpushモードとpullモードがあります。 pullモードは、各ノ
Hadoopのトラブルシューティングに関する資料があったのでめもっとく - wyukawa's diary
Hadoop World 2011でClouderaの人が発表した資料を見つけたのではっておく。 Hadoop Troubleshooting 101 - Kate Ting - Cloudera View more presentations from Cloudera, Inc. Clouderaのサポートチームの極意が詰め込まれているようだ。 内容的にはHadoop徹底入門の10章の「性能向上のためのチューニング」と若干かぶっているが参考になります。 io.sort.mb < mapred.child.java.opts とすることとか（ていうかmapred.child.java.optsを増やすことはあるかもしれないがio.sort.mbっていじるもんなのかな）、プロセス数やファイルディスクリプタいじれとか、map出力のスレッドいじれとか、Jetty 6.1.26は使うなとか、盛り
NoSQLとHadoopを、オラクルは企業が使うデータベースとしてどう位置づけようとしているのか？
「NoSQLはソーシャルメディアのようなネットアプリケーション向けであり、企業内のデータベースとしては向かない」。これまでNoSQLデータベースは一般にそう思われていました。 しかしオラクルは今月、サンフランシスコで開催した「Oracle OpenWorld 2011」でビッグデータ市場への参入を表明。製品として、企業向けデータベースとしてキーバリュー型データストア「Oracle NoSQL Database」と「Apache Hadoop」を搭載した「Oracle Big Data Appliance」を発表しました。 オラクルは企業が使うデータベースとしてNoSQLやHadoopをどのように位置づけようとしているのでしょうか？ 昨日10月25日に都内で開催された日本オラクル主催のイベント「Oracle Database/Exadata Summit」において、米オラクルでデータベース製
HadoopでのMapReduce実行方法 - wyukawa's diary
HadoopでのMapReduce実行方法は以下の5つあるだろう。 Javaでごりごり実装 Asakusaつかって実装 Hadoopストリーミングを使って実装 Pig使う Hive使う 僕自身はもっぱらHiveだ。 Asakusaは全然わからないのでここでは触れないが、それ以外は象本読んで何となく雰囲気はつかめた。 分類的に言うとPigとHiveは手続き的、宣言的という違いはあるがDSLという意味では同じようなものなのでここではあまり触れない。 まずJavaでごりごり実装する場合だがこれはなかなか大変だ。 とくに結合が大変。結合がどんな感じかは象本の8章に書いてある。 それ以外の資料としては以前@n3104さんが 5月11日 DevLOVE 黄色い象使いが、獄長に出会うまで。〜象、邂逅編〜(東京都)で説明している資料とサンプルコードが良い題材になるだろう。セカンダリソートやmap side
Hadoopの異端さが面白い - wyukawa's diary
Hadoopはほんとブームです。バブルだと言っていい気がします。各種セミナーはすぐに埋まりますし、実際に聞きに行くと会場は満員です。 この分野は日本だとNTTデータが先頭をきったように見えます。 NTTデータ、Hadoopの商用ディストリビューション「CDH3」を販売開始 | 日経 xTECH（クロステック） またHadoop専業会社「ノーチラス・テクノロジー」というのもできました。 ウルシステムズとイーシー・ワンが経営統合、Hadoop専業会社を立ち上げ | 日経 xTECH（クロステック） しかし最近では富士通やIBMもHadoopソリューションを展開しておりレッドオーシャンな感じです。 富士通がビッグデータ分析・活用向けのPaaSサービス | 日経 xTECH（クロステック） 日本IBM、表計算のように分析できるHadoopソフト新版「BigInsights」 | 日経 xTECH（
HBaseとはどんなNoSQLデータベースなのか？ 日本語で読める情報を集めてみた
Facebookが新しいサービス「Messages」の基盤として、NoSQLデータベースの「HBase」を選択したことを、先日の記事「Facebookが新サービスの基盤にしたのは、MySQLでもCassandraでもなく、HBaseだった」で紹介しました。 HBaseは、Facebookによると次のような特徴を備えていると説明されてます。 負荷に対して非常に高いスケーラビリティと性能を発揮 CassandraよりもシンプルなConsistency Model（一貫性モデル）を備えている 自動ロードバランス、フェイルオーバー、圧縮機能 サーバーごとに数十個のシャードを割り当て可能、などなど このHBaseはどのようなデータベースなのでしょうか？ 情報を集めてみました。 HBase入門のプレゼンテーション 最初に紹介するのは「HBaseエバンジェリスト」Tatsuya Kawano氏のプレゼン
NTTデータのHadoop報告書を読んでみた - wyukawa's diary
NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮 これで話題になっていたのは知っていたけど仕事と関係無かったこともあり今まで読んでなかったんですが、１か月ほど前からHadoop仕事を始めたこともあり読んでみました。 ま、現状はNTTデータから仕事もらっている立場だし提灯記事でも書こうかとw 目次はこんな感じになってます。 で、全部で375ページもあるわけですが、アプリ開発者がとりあえず読むなら２章です。もうちょっと突っ込むなら関連する８章もプラスして読むといいでしょう。どうでもいいけど印刷して読んだほうがいいかも。僕はiPadで読みましたが２章は割とページをいったりきたりしたので。 ２章では渋滞解析アプリケーションを事例としてMapReduceアプリをどのように設計して、実装するのかが記述されていてとても参考になります。というかこれだけまとまった情報は象本にもHadoo
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【クラウド特捜部】 大規模データの分散処理を実現するHadoopはクラウドでこそ生きる？
ツイッターStorm:オープンソースのリアルタイムHadoop
2011/06/29_Hadoopを中心とした分散環境での開発方法論・モデリング・設計手法等についての座談会(第5回） #hadoopmodeling
Hadoop、hBaseで構築する大規模分散データ処理システム