Apache Sliderを使ってStormもYARNに乗せる - Qiita
本日は、Hadoopと良く一緒に語られるApache Stormと、そのStormを真の意味でのHadoopファミリーとする上でのキーとなるミドルウェアである Apache Sliderについてちょこっとだけ書きたいと思います。 Apache Sliderとは？ YARNの登場により、様々な分散アプリケーションが1つのクラスタを総合的なリソース管理のもとに使いまわすことができるようになりました。 ただし、YARNを利用したい分散アプリケーションにはいくつかの制約が発生します。 その中でもとりわけ大きいものとして、 YARNに対してのリソースの要求や開放等のコードを書かなくてはならない。 ジョブ1つにつきリソースの確保やデーモン等の立ち上げという仕事が発生するため、スタンドアローンに比べてジョブの立ち上がりが遅い。 (ここで言うスタンドアローンとは、YARNを使わずにその分散アプリケーション
Vagrantでknife-zeroを使うためのベストプラクティス | 割り箸ポテチ
Vagrantでknife-zeroを試そうとして挫折する人が多いらしいので、自分の考えるベストプラクティスを書いてみます。 追記：記事の一部を更新しました。詳細は末尾の更新履歴でご確認ください。 以下、Vagrantを開発環境で利用することを想定しています。 下記のドキュメントを参考にしました。 Knife-ZeroとVagrant(単品VM) - Qiita TL;DRプライベートネットワークモードで立ち上げた2つのVMに、knife-zeroでレシピを適用する具体的な手順を説明します。 基本方針は下記の通り。 コマンドラインでのパラメータを極力減らす。 IPアドレスの記述は.envrcに集約して、その他の設定ファイルやコマンドラインでは環境変数を使う。 適切に設定ファイルを書けば、下記のような一連のコマンドでレシピの適用まで実行することができます。 % cd knife_zero_e
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Hadoop 3.4.0 – Hadoop: Capacity Scheduler
