タグ

ブックマーク / kimutansk.hatenablog.com (2)

  • Docker-Registrator(Normal/internal)でConsulに登録される内容は? - 夢とガラクタの集積場

    こんにちは。 最近、Dockerでマルチコンテナのクラスタを組もう、ということをやっています。 で、そこで課題になってくるのがIPアドレスが一定しない、ということですよね。 ですので、そのためにConsul等のサービスディスカバリの仕組みを使う形になります。 ただ、Dockerコンテナの内部からConsulに登録するのはいまいち面倒・・ということで、 自動登録が可能なDocker Registratorを2パターン試してみました。 とりあえず、出来ると構成は下記のようになる・・はず。 尚、OSはCentOS7、あとFirewalldは無効化してiptablesを用いています。 理由は後ほど(次回以降?) 1. OS側準備 まずはDockerインストールなどの諸々のセットアップを行います。 尚、rootユーザでログインを予め許容しておき、rootユーザでセットアップを行います。 ■Selin

    Docker-Registrator(Normal/internal)でConsulに登録される内容は? - 夢とガラクタの集積場
  • Apache Sparkってどんなものか見てみる(その1 - 夢とガラクタの集積場

    こんにちは。 Kafkaを試している最中で微妙ですが、最近使えるのかなぁ、と情報を集めているのが「Apache Spark」です。 MapReduceと同じく分散並行処理を行う基盤なのですが、MapReduceよりも数十倍速いとかの情報があります。 ・・・んな阿呆な、とも思ったのですが、内部で保持しているRDDという仕組みが面白いこともあり、 とりあえず資料や論文を読んでみることにしました。 まず見てみた資料は「Overview of Spark」(http://spark.incubator.apache.org/talks/overview.pdf)です。 というわけで、読んだ結果をまとめてみます。 Sparkとは? 高速でインタラクティブな言語統合クラスタコンピューティング基盤 Sparkプロジェクトのゴールは? 以下の2つの解析ユースケースにより適合するようMapReduceを拡張

    Apache Sparkってどんなものか見てみる(その1 - 夢とガラクタの集積場
  • 1