Apache Kafkaで、クラスタメンバーの増減とPartitionの再割り当てをやってみる - CLOVER🍀
Apache Kafkaでクラスタのメンバーの増減や、Partitionの再割り当てみたいなことをやってみたいなぁと思い、ちょっと 試してみることにしました。 環境 Apache Kafkaのバージョンは、0.11.0.1とします。 また、Apache ZooKeeper、Apache Kafka（Broker）のIPアドレスは、次のようなものとします。 Apache ZooKepper … 172.21.0.2 Apache Kafka … 172.21.0.3〜 Apache KafkaのBrokerのIDは、IPアドレスの末尾とします（172.21.0.3なら、3）。 これで、Apache KafkaのNodeを増減させたりして、どのようになるかちょっと見てみたいと思います。 メッセージ投入用のプログラム Apache Kafka（Broker）へのメッセージの投入には、Javaで書
Apache SparkをYARN上で動かしてみる - CLOVER🍀
先ほど、こんなエントリを書きました。 Apache Sparkで、HDFS上のファイルを読み書きする http://d.hatena.ne.jp/Kazuhira/20150802/1438499631 ここで使ったプログラムを、YARN上で動かしてみたいと思います。 SparkをYARN上で動かす時は、yarn-clientとyarn-clusterという2種類の起動方法があるみたいです。 Running Spark on YARN http://spark.apache.org/docs/latest/running-on-yarn.html 参考） Spark on YARN http://kzky.hatenablog.com/entry/2015/01/12/Spark_on_YARN Apache Spark Resource Management and YARN App M
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
