IntelliJのDockerインテグレーションを使う - Qiita
前提 環境はMac。boot2dockerが入っているものとする 手順 IntelliJにDockerプラグインを入れる DockerHost等の設定 Run/Debug Configurationにてコンテナの起動設定 Dockerfile書いてアプリケーションを起動 1. IntelliJにプラグインいれる 2. DockerHost等の設定 設定画面からCloudsを開き、Dockerを選択して新規設定を作成。boot2dockerのホストのIPアドレスと証明書を埋める。 3. Run/Debug Configurationにてコンテナの起動設定 あとは起動設定。新規にDocker Deploymentを作成する。Serverには先ほど作成したDockerHostの設定を選択する。 Container Settingsで指定した場所に下記のような設定ファイルが作成されるので、任意の場
Spark and YARN - Qiita
SparkとYARNについて書きます。テーマ的にインフラストラクチャについての話が多くなると思います。 SparkとHadoopの関係性 SparkはHadoopクラスタへの依存はしていない。(ただし、ややこしいのだがHDFSやYARNのクライアントライブラリへの依存はある)なのでHadoopなしでも動かすことができる。しかしそれでもHadoopと一緒に動作させることが多いのは以下の理由による。 クラスタマネージャとしてのYARN Sparkはアプリケーション（厳密にはSparkアプリケーション）ごとに下記のようなクラスタが構築される。Driver Programと呼ばれる、SparkContextオブジェクトを持ち、アプリケーションコードの主要部分を実行するアプリケーションのマスタコンポーネントと、RDDに対するオペレーションを実行するExecutor群。そして、Driver Progr
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
