概要 Fluentdで障害設計をする上でバッファリングの概念は切っても切り離せません。 本記事では、ドキュメントだけでは拾いきれないものも踏まえ、 Fluentdのバッファリングで抑えておくべき情報を体系的にまとめます。 バッファリングとは？ Fluentdではログをバッファリングしてまとめて送信するための仕組みが用意されています。 これは下記のような用途に用いることができます。 送信先がダウンしていたときに一時的に保管しておく 送信先のキャパシティに合わせて送信流量を制限する Fluentdにはメモリ上、もしくは永続化ディスク上にバッファを保管しておく仕組みが用意されています。 バッファの構造 バッファの構造は下記のようになっています。 引用: https://docs.fluentd.org/buffer Output Pluginごとに一つバッファ領域を持っており「stage」と「q

はじめに fluentdに関するメモ書きです。ここでは、設定ファイル(主にBuffer関連)について調査/テストした内容を記載します。 関連記事 fluentdメモ - (1) インストール/簡易操作 fluentdメモ - (2) 設定ファイル概要 fluentdメモ - (3) 設定ファイル調査 Input/Fileter/Output編 fluentdメモ - (4) 設定ファイル調査 Buffer編 概要理解 まずはこの辺り。 参考: Multi Process Worker Performance Tuning Input/Fileter/Outputの一連の処理は"Worker"と呼ばれるプロセスで実行されます。デフォルトでは1プロセス(1Worker)で処理されますが、<system>ディレクティブでこのプロセス数(Worker数)の制御が行えます。 各プロセスのOutput

😂 Just as I'm about to release redis-rb 5.0.0 first beta, I realize that both `redis_cluster` and `redis-cluster` g… https://t.co/N9iHLbaqJp

クラウドワークス SREチームの @kangaechu です。アンタッチャブルのコンビ復活に目が離せないこの頃です。 クラウドワークス Advent Calendar 2019の4日目として、最近SREチーム内で使われるようになったツール、 aws-vault を紹介します。 背景 aws-vaultの話をする前に、少しだけAssumeRoleの話をします。 AssumeRole assumeは引き受けるなどの意味を持つ単語で、AWSを使用するユーザやリソースが本来持っている権限とは別の権限を引き受けることができるしくみです。ものすごいざっくりいうと、sudoコマンドのような感じです。AssumeRoleはどのようなときに便利なのでしょうか。 マルチアカウントでのIAMユーザ集約管理 リソースの分離や課金管理などを目的として、最近はAWS Organizationsを使用したマルチアカウン