hadoopアドベントカレンダー2011 19日目 Hadoopのラック認識設定部分のソースを追いかけてみた - AOEの日記
hadoopアドベントカレンダー2011の19日目を担当する@aoetk / id:aoe-tkです。 業務でHadoopのラック認識設定を行う必要に迫られ、そのときに調べたメモを公開したいと思います。 Hadoopはネットワークトポロジーを考慮して動くことはよく知られていることでしょう。("rack awareness" である言われることが多いです) 次のような挙動を行ったりします。 MapReduceのタスクをノードに配置する際、ラック間の転送よりもラック内の転送を優先させる HDFSは特定のラックに偏らないような複製を行う ただし、どのノードがどのラックに所属しているか、といった情報は外部から教えてあげる必要があります。 Hadoopはインターフェース DNSToSwitchMapping の resolve メソッドを用いてノードのネットワークロケーション情報を取得します。 この
第2回Asakusaソースコードリーディングに参加してきました - AOEの日記
AsakusaSCR第弐回に参加してきましたので、そのメモをまとめました。ほとんど自分向けの内容ですが折角なので表に置いておくにします。立て続けに勉強会参加レポートのエントリになっちゃいました。 今回はAsakusaにおいて外部とのデータのやり取りを引き受けているThunderGateのお話でした。 講師はThunderGateのアーキテクチャを設計したウルシステムズの埋金さんです。UMLaut/J-XMLの開発も担当されたそうで、昔はテレメータの開発をされてたとか。あと懇親会で聞いたのですが、かつてはWebLogicの鬼だったそうな。 なぜThunderGateを作ったのか？ Hadoopはデータ配るところが弱いので、そこを補うのがThunderGate データをどこに置く？ HDFS 信頼性？SPOFあるね バックアップリカバリのノウハウがない (復旧できる技術者いる？少なくともデータ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
