はてなブックマーク

はじめに Elasticsearch を持っているなら、ログは余すことなく入れておきたくなるだろう。 パースは後でもできるので、とりあえず入れておくだけ。 ただし、情報量を落とすことなくログを入れたい。 ログは件数が意味をもつこともあるので、重複は避けたいし、欠損してほしくはない。 そのためには、個々のログに対して一意となる ID を指定すればよさそうである。 もしもログ送信元 (Logstash など) や送信先 (Elasticsearch) に異常が発生し再送の必要が生じても、 ID があれば重複なく格納できるようになるため、再送を十分に行えるなら欠損分を補えるだろう。 ちなみに、もし重複を許すなら、途中まで読んでいたログファイルをもう1度読み込みなおせばよい。 なお、もし再送を十分な回数できるなら、ID が（Elasticsearch の自動生成 ID など）ログに対して一意でなく

まえおき 最近流行りの Prometheus は、ちょっと前から流行っている Elasticsearch と何が違うのか？ ※Prometheus は触りはじめて日が浅いので、誤りがあればご指摘ください。 そもそも Prometheus と Elasticsearch では目的が異なり、カバーできる範囲が異なる。 扱えるデータの種類は Elasticsearch のほうが広いので、まずは比較する機能を絞る。 Elasticsearch には全文検索の用途があるが、これは Prometheus とは関係ない。 インデックスを日付でわけて、ドキュメントのフィールドに時間を格納することで、 ログのフィールドを時系列で集計する運用について Prometheus と比較可能。 @timestamp といったフィールドに時間を格納したログやメトリクスを logstash-2016.11.06 といった

まえおき Kubernetes を使い始めたのだが、公式のドキュメントが難解すぎたので目的別に整理した。 各ノードでコンテナを起動したい Daemon Set を使う。 以下の例では、ホストの /var/log/myapp ディレクトリに出力された myapp.log ファイルを logstash コンテナで監視する。簡略化のため Logstash はファイルの中身をそのまま出力している。通常は Filter Plugin を併用し Output Plugin で Elasticsearch に送る。 図 +-----------------------------------+ | node | | +----------+ | | | logstash | | | | | | | /var/log/myapp <-mount-*/log | | | +----------+ | +--

概要 Bash on Ubuntu on Windows で Docker を使えない！ ただし Docker for Windows を Bash on Ubuntu on Windows から使うならできる。 そう Windows 10 Pro ならね。 ※少々場当たり的なことをしていると思うので、 よりよい方法をご存知でしたらお知らせください。 Bash on Ubuntu on Windows で Docker デーモンは動かせないが Docker クライアントをインストールして DOCKER_HOST 環境変数を設定し Docker for Windows の Docker デーモンにアクセスすることはできる。 Docker を使うシェルスクリプトの動作確認をしたいときなどには便利。 ただし Docker Compose のボリュームの指定で相対パスを使えない。 たとえば vol