タグ

ブックマーク / kimutansk.hatenablog.com (1)

  • Apache Kafka概要確認(その11 メッセージを保存するログファイル - 夢とガラクタの集積場

    こんにちは。今日は実際にメッセージを保存しているログファイルの形式と形態について述べた章になります。 これまで述べられたメッセージがどういう形式でディスク上に保存されているかですね。 18.ログ "my_topic"というトピック名称を持つ2パーティションを持つトピックは"my_topic_0"と"my_topic_1"という 2つのディレクトリと、メッセージを保持するファイル群から構成される。 ログファイルのフォーマットは"ログエントリ"の配列となっている。 ログエントリは、メッセージ長(NByte)を4Byteの整数で保持している。 各メッセージは対象トピック/パーティション上の全メッセージ中の開始位置であるオフセットを64ビット整数で保持しており、 そのオフセットによって一意に識別される。 ディスク上に保存されている際のメッセージフォーマットは以下の通り。 各ログファイルはファイル中

    Apache Kafka概要確認(その11 メッセージを保存するログファイル - 夢とガラクタの集積場
    getcha
    getcha 2020/05/17
    ログのフォーマットについて
  • 1