エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Sparkコンテナ(勉強用) - hiropppee’s diary
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Sparkコンテナ(勉強用) - hiropppee’s diary
Sparkの勉強するのに、また手元の開発環境ごちゃごちゃになるのは困るのでDockerコンテナを作ってみた話... Sparkの勉強するのに、また手元の開発環境ごちゃごちゃになるのは困るのでDockerコンテナを作ってみた話。 github.com 初め探してsequenceiqのとかあったけど、Dockerのマルチコンテナでのクラスタの組み方とかも勉強したかったので作ることにした。クラスタマネージャはとりあえずYARN、今回は1つのDockerホストで、マスター(クラスタマネージャ)、スレーブ(ワーカー)、Sparkクライアントのコンテナを走らせる。 #はじめ、マルチホストのDockerクラスタでも動くようにしたかったけど、まだちょっとあれだった コンテナ接続 クラスタ内のコンテナ接続、単純なクライアントサーバ的な一方行の静的なコンテナ接続は、Dockerのリンク機能が使えるけど、Sparkクラスタの場合、いろいろ動的にJVMプロセスが立ち上がってIPCするので、厳しい。 コンテナ接続パターンはいろい