タグ

kafkaに関するmazinlabsのブックマーク (3)

  • 次世代の監視技術 - Telemetry技術のご紹介 - NTT Communications Engineers' Blog

    こんにちは、イノベーションセンターの三島です。 記事では、次世代の監視技術として期待されるTelemetry技術についてご紹介します。 この記事について 記事では下記の3点を共有します。 従来の監視技術が抱える課題とTelemetryの可能性 Telemetryの技術概要と、各社の実装状況 NTT Comのネットワーク上で検証し得られた知見と、期待されるユースケース 従来の監視技術が抱える課題 ネットワーク運用においては、障害検知やパフォーマンス分析のため監視技術が重要となります。 従来のネットワークでは、SNMP(Simple Network Management Protocol)と呼ばれる技術が広く利用されています。 SNMPの仕組みを図1に示します。SNMPはUDPベースなネットワーク監視技術です。データモデルはMIB(Management Information Base)と

    次世代の監視技術 - Telemetry技術のご紹介 - NTT Communications Engineers' Blog
  • Apache KafkaのProducer/Broker/Consumerのしくみと設定一覧 - Qiita

    Producerの主なパラメータ Producerの主要なパラメータを以下に示します。全パラメータの詳細は公式ドキュメントを参照してください。 bootstrap.servers デフォルト値:なし 説明:Brokerの接続先リスト。いずれかのBrokerにアクセスして初期接続を確立する。 send.buffer.bytes デフォルト値:128 KB 説明:TCP送信ソケットバッファのサイズ。-1に設定するとOSのデフォルト値が使用される。 receive.buffer.bytes デフォルト値:32 KB 説明:TCP受信ソケットバッファのサイズ。-1に設定するとOSのデフォルト値が使用される。 batch.size デフォルト値:16 KB 説明:1 Record Batchの最大サイズ。Record Batchがこのサイズに達するとリクエストが送信される。 max.request.

    Apache KafkaのProducer/Broker/Consumerのしくみと設定一覧 - Qiita
  • Kafka Replication Deep Dive | Folioscope

    この記事は Distributed computing Advent Calendar 2017 20 日目の記事です。 Kafka のレプリケーションは、高可用性と高信頼性を実現するための、重要な機能の 1 つです。 この記事では、Kafka のレプリケーションの仕組みについて紹介します。 レプリケーションの基礎 Kafka のデータストリームの最小単位はパーティションです。またレプリケーションもパーティション単位で行われます。 Kafka のレプリケーションの情報は、ZooKeeper 上に保存されています。 レプリカの配置情報は、${prefix}/brokers/topics/${topic} に JSON で保存されます。 { "version": 1, "partitions": { "0": [0, 1], "1": [1, 2] } } トピック作成時にはレプリカ数を指定し

    Kafka Replication Deep Dive | Folioscope
  • 1