第5回 Fair Schedulerによる複数ジョブの同時実行 | gihyo.jp
今回のテーマは、Fair Schedulerを使った複数ジョブの同時実行です。1つのHadoopクラスタを使って複数のジョブを実行する際、どのようにクラスタのリソースを割り振るかが重要になります。複数のMapReduceジョブを同時に実行した際に、デフォルトの設定とFair Schedulerを使った場合で、どのような挙動の違いが生じるか、見ていきましょう。 HadoopのSchedulerとは？ MapReduceジョブを実行する際、Hadoopクラスタ上では、予め指定されたslot数だけ、同時にMapタスクやReduceタスクが実行されます。デフォルトでは、1つのTaskTrackerあたり、Mapのslot数がとReduceのslot数がそれぞれ2に設定されています。そのため、ノードが10台ある環境では、MapとReduceのタスクがそれぞれ20ずつ同時に動くことができます。通常、1
ひたすら失敗し続けるペンギンたちがやたらかわいらしいムービー「Penguin Fail」
氷の上ですってんころりんと転んぶペンギンや、ジャンプに失敗し岩の上からころころと転がっていくペンギンなど、ペンギンたちがひたすら失敗していく様子を集めたムービーが「Penguin Fail」です。 Penguin Fail - Best Bloopers from Penguins Spy in the Huddle - YouTube 太陽に向かって一斉に走るペンギンたち。 大きな岩に飛び乗ろうとぐっと背を低くするペンギン。 ピョンッと飛び乗りました。 ……と思ったらズベッと地面に尻もち。 トコトコと並んで歩く2匹のペンギン。 ツルッ。 なんとかバランスをとり、転んでしまうのは回避。 こちらも大人ペンギン2匹が歩いています。 ツルッ。 どてっ。 氷の上を歩くペンギンを、「転ぶか、転ぶか……？」と見ていると…… 穴にはまりました。 突きだした岩に飛び乗ろうとしています。 ジャンプ。 ベシャ
staltz / HAcid / wiki / Home — Bitbucket
Atlassian Sourcetree is a free Git and Mercurial client for Windows. Atlassian Sourcetree is a free Git and Mercurial client for Mac. You caught us doing some quick maintenance, temporarily restricting your repository to read-only access. HAcid HAcid enables multi-row transactions in HBase. This is a decentralized transaction manager that runs on the client side through a jar library, using specia
Runtime error - Meta Search
Error message : Directory is not found or not writable (DATA_DIR) Directory is not found or not writable (DIFF_DIR) Directory is not found or not writable (BACKUP_DIR) Directory is not found or not writable (CACHE_DIR) Site admin: whitestar Copyright © 2006-2023 whitestar. All Rights Reserved. Icons powered by famfamfam. PukiWiki 1.5.0 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL
Kernel panic – not syncing: Attempted to kill init! | とりあえずノートがわりに書いてます
SELinuxを無効にしたらカーネルパニック CentOS6環境でSELinuxを有効にした場合と無効にした場合の動きの違いについてチェックしようと２つの環境を作ろうと作業を始めた。SELinuxをdisabledにするため/etc/sysconfig/selinixファイルの中の設定をdisabledにしてリブートする… なんとブートしようとして”Kernel panic – not syncing: Attempted to kill init!”というメッセージが出てブート途中で停止。あらーって感じ。調べるとブートの時にenforcing=0というパラメータが必要だそうだ。grubの設定ファイルに書けばいいのだが、その前にカーネルが立ち上がらない。 つまり、現在のブートパラメータにenforcing=0をつけて立ち上げなければならない。あちこちのサイトにgrubのコマンドラインに手で
Sublime Text の習得に役立つショートカットキーのチートシートを作ってみた (Mac OS X / Windows)【15日目】 | DevelopersIO
“世界的ですもんね 乗るしかない このビッグウェーブに” はじめに そんな訳で、IT業界で話題沸騰中のテキストエディタ、Sublime Text。弊社でも続々と利用者が増えている今日この頃です。 基本的にビッグウェーブに鈍感な僕らしく、先日あたりからようやく使い始めてみました。長い間eclipseを使い続けていたので、色々と戸惑う箇所も多く、まだまだSublime(卓越した)に使いこなせていませんが、徐々に慣れていけたらなと考えています。 ショートカットキーのチートシートを作ってみた 少し前に弊社のとあるスタッフから「ショートカットキーのチートシートでナウいデザインのものがあったら、超捗るぜ。」とあおられ、僕自身まだまだ不慣れなこともあって、操作の習得も兼ねて作ってみました。 Sublime Text | Periodic table of the Keyboard Shortcuts.
「クラウドネイティブアプリこそアーキテクチャが重要」---日本マイクロソフトがITアーキテクト向けイベント開催
「クラウドネイティブのアプリケーションは、要素技術の選択肢が多く複雑だ。複雑な要素技術をとりまとめるために、開発初期段階にシステム全体を構想する“アーキテクチャ”が再び注目されている」---。日本マイクロソフトは2013年4月24日、ITアーキテクト向けイベント「アーキテクトフォーラム 2013」を開催。キーノートに登壇した同社 テクニカル エバンジェリストの萩原正義氏（写真）は、クラウドアプリケーション・アーキテクチャのトレンドについて解説した。 萩原氏は、アーキテクチャをめぐるメガトレンドの1つとして、「クラウドの時代になり、アプリケーション開発における競争優位性の所在が、“プラクティス”から“サイエンス”へ移行している」ことを挙げた。 階層モデルがアーキテクチャの主流だった時代には、Javaフレームワーク、.NET Frameworkなど、実績のあるフレームワーク（プラクティス）を適
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.