2016/04にKafkaのリソースをモニタリングするツールkafka-monitorがlinkedinからOSSとして公開された。 プロデューササービスの生成率とコンシューマサービスの消費率、メッセージ損失、メッセージ重複、エンドツーエンドのレイテンシがグラフとして表示できるようなのでKafkaに繋げてみて試してみる。 環境現在、最新版は0.10系であるが、0.9と0.8系しか対応していなさそうなので0.9系を使う。 Kafka Monitor supports Apache Kafka 0.8 and 0.9. Use branch 0.8.2.2 to monitor Apache Kafka cluster 0.8. Apache kafka 0.9.0.1 Java 1.8 Kafkaの起動$ cd kafka_2.11-0.9.0.1 $ bin/zookeeper-serve
This document provides an overview and summary of Amazon S3 best practices and tuning for Hadoop/Spark in the cloud. It discusses the relationship between Hadoop/Spark and S3, the differences between HDFS and S3 and their use cases, details on how S3 behaves from the perspective of Hadoop/Spark, well-known pitfalls and tunings related to S3 consistency and multipart uploads, and recent community a
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く