Splunk 内部アーキテクチャ - Qiitaはじめに Splunkの内部で起こっていることをログ取り込み時の処理と検索時の処理に分け、解説してみます。 Splunkは大量のログでも非常に高速かつ柔軟に検索、データ加工ができます。この魔法は2段階の処理で実現しています。 1) 大量のログから欲しいキーワードを含む行(イベント)を抽出する 2) 得られたイベントからデータを取り出し加工する 今回 1)について解説し、2) についても一部触れます。 .conf 2016のイベント資料(Behind the Magnifying Glass: How Search Works)に基づいて解説します。 外観 Splunkは主に3つのコンポーネントから構成されています。 サーバーやネットワーク機器からログをIndexer(インデクサー)に飛ばすforwarder(図下)。 Forwarderから飛んできたログを受け取り、検索しやすいように加工す
