Fluentdのflush_mode immediateはいつ使うのか - たごもりすメモ
Fluentd実践入門をあらためて手元でぱらぱらやってたら、しまった! この話をどこかにちょっとでも書こうと思ってたのに忘れてた! という話が出てきたので、忘れないうちに書いて放流する。 flush_modeとはなにか FluentdのOutputプラグインには<buffer>セクションで指定できるflush_modeというパラメータがあって、これはOutputプラグインがどういう基準でバッファ内のデータを書き出す(writeメソッドを呼ぶ)かという戦略をコントロールする。有効な値はdefault、immediate、interval、lazyの4つ。 ただし多くのケースでこのパラメータは明示的には指定されていないはず。というのも、デフォルト値であるところのdefaultの場合には、<buffer>セクションに指定されている他のパラメータ((と、例外的に<buffer>セクションの外側に指
Fluentd 集約ノードのオートスケール - クックパッド開発者ブログ
こんにちは、技術部 SRE グループ アルバイトの小川です。この記事では、クックパッドでコンテナログの処理に利用している Fluentd ノードのオートスケール対応について紹介します。 クックパッドでは Amazon ECS を用いてコンテナ化されたアプリケーションをデプロイしています。クックパッドでの ECS の利用については過去の記事をご覧ください。 ECS 上で動くコンテナのログを閲覧するために、標準的には Amazon CloudWatch Logs を利用する方法があります。しかし、クックパッドではログ量やコストの問題で CloudWatch Logs は利用せず、独自のログ配送基盤を構築して運用しています。具体的には、ECS のコンテナインスタンスで実行している Fluentd から複数の Amazon EC2 インスタンスで構成される Fluentd 集約ノードにログを転送し
amazon linux2にtd-agentをインストールする - Database JUNKY
これだけです $ curl -L https://toolbelt.treasuredata.com/sh/install-amazon2-td-agent3.sh | sh gemのバージョンをチェック $ /usr/sbin/td-agent-gem -v 2.6.14.4 pluginのインストール状況をチェック $ /usr/sbin/td-agent-gem list --local | grep -i plugin fluent-plugin-elasticsearch (4.0.9) fluent-plugin-kafka (0.13.0) fluent-plugin-prometheus (1.8.0) fluent-plugin-prometheus_pushgateway (0.0.2) fluent-plugin-record-modifier (2.1.0) flu
Fluentdのプラグインのメモリリークの特定を支援するプラグインを使う方法 - 2021-10-06 - ククログ
クリアコードではFluentdのサポートサービスを提供しています。 今回は、プラグインのメモリリークの特定を支援するプラグインを開発したので、 どんなことができるのか、またどのように使ったら良いのかを説明します。 なぜ特定の支援をするプラグインが必要なのか? Fluentdには用途別にさまざまなプラグインがあり、それらを組み合わせて使うことで 非常に柔軟にログを収集・転送することができます。 その一方で、長時間時間実行しつづけるというソフトウェアの特性上、メモリリークしていると運用に影響がでて問題になります。 過去に遭遇したプラグインのメモリリークでは fluent-plugin-systemd でオブジェクトを破棄し忘れている事例がありました。 Plug a memory leaks on every reload また、プラグイン本体ではなく、プラグインが利用しているCの拡張ライブラリ
EC2のログをfluentdを使ってタグ情報を利用したフォルダ構成でS3にアップロードする - Qiita
オートスケール環境ではEC2の起動、停止が動的に行われるのでログ(syslogやアプリ、ミドルウェア)を外部に出す必要があります。 やり方として S3にアップロード CloudWatchLogsを使う ログサーバーに転送 などが一般的だと思います。 S3にアップロードする方法を考えた場合、どのようなフォルダ構成でアップロードするかは結構大切なことだと思います。(探しずらいとあとで大変) また、本番環境、検証環境などがある場合、どこにどうおくかをEC2のタグの情報を利用して考えたい場合もあると思います。 そこで今回はEC2のログをfluentdを使ってmetadataやタグ情報を利用したフォルダ構成でS3にアップロードすることをやってみました。 今回の例では/var/log/messagesをS3に以下の構成でアップロードするようにしてみました。 Bucket │ ├-Env(product
【EC2】Fluentd で Auto Scaling グループ配下にあるインスタンス内のログをS3へ転送 (後編) | クロジカ
ホーム / クラウドコンピューティング / 【EC2】Fluentd で Auto Scaling グループ配下にあるインスタンス内のログをS3へ転送 (後編)
AWS FargateでFireLensを使って同じログを3箇所に送ってみた | DevelopersIO
Fluent BitとFluentd Firelensで起動するログルーティングのコンテナは同じタスク内にサイドカーとして起動します。 軽量なコンテナの方が嬉しいのでFluent Bitを採用しました。 参考： Fluent Bit による集中コンテナロギング | Amazon Web Services ブログ 設定ファイル込みのイメージ作成 同じログ内容を合計3箇所の出力先へ送るシンプルなFluent Bitの設定を作るところからはじめます。Fluent Bitの設定次第で特定のログであればCloudWatch Logsへ、それ以外はS3バケットへ送信も可能です。Fluent Bitのドキュメントまで読みきれなかったので細かい設定は断念。 Fluent Bitの設定ファイル作成 各プラグインの設定はFluent Bitドキュメントを参考に出力先を設定しました。 S3へ直接する保存する場合
macOSのインストーラーを作成するには - 2020-09-08 - ククログ
はじめに クリアコードはFluentdの開発に参加しています。 Fluentdプロジェクトではtd-agentという名前でパッケージやインストーラーを提供しています。 td-agentはtd-agent 3からmacOS向けのインストーラーが試験的に提供されています。 macOS用のtd-agentのインストーラーについてはmacOSでのtd-agentのユーザーが少ないということもあり提供が滞っていました。 この記事では筆者畑ケがmacOSのインストーラー作成に関する事項をtd-agent4の事例を元に解説します。 macOSのインストーラー macOSではインストーラーと呼ばれるものには形式がいくつかあります。 distribution形式の.pkg単体での配布物 distribution形式の.pkgをさらに同梱したディスクイメージ macOSのアプリケーション形式(.app)のアプ
似てる #fluentd プラグインの比較
これはウィークリーFluentdユースケースエントリリレーの参加エントリです。 @oranieさんによるまとめエントリはこちら Fluentdのプラグインって沢山ありますよね？ その中から、似てるものを見つけて違いが気になったので調べてみました。 ・fluent-plugin-rewrite by @kentaroさん fluent-plugin-rewriteというプラグインを作成した #fluentd ・fluent-plugin-rewrite-tag-filter by @yoshi_kenさん 自在にタグを書き換える fluent-plugin-rewrite-tag-filter でログ解析が捗るお話 #fluentd 今回は、@studio3104さんのこちらのブログエントリを元に構成を作りました。 fluent-plugin-rewriteを使用されています。 # 素晴らし
自在にタグを書き換える fluent-plugin-rewrite-tag-filter でログ解析が捗るお話 #fluentd - Y-Ken Studio
皆様、ログ解析を行っていますか？ GoogleAnalyticsも便利ですが、表で取れないデータの解析も行いたいですよね。そんな時にfluentdが便利です。 内部の生ログからの解析が捗る、fluent-plugin-rewrite-tag-filter が安定版となりましたので、設定例を交えつつ紹介したいと思います。 このプラグインは100台規模の本番環境で1ヶ月少々、特にトラブルもなく稼働しているものです。 はじめに Amazonでは応答速度が0.1秒遅くなると売り上げが1％減る と言われているように、Webアプリケーションの応答速度はとても重要なものです。 機能追加による性能劣化は良くある話で、応答速度等の見える化を行う事で迅速な対応が取れば売り上げ等への影響も軽微です。 パフォーマンス改善等の指標として利用する場合のユースケースを紹介したいと思います。 fluentdとは リアルタ
fluentd + growthforecastを早速試してみた - アルパカDiary Pro
Fluentd Casual Talks に参加させていただき、 いろいろと捗る話を聞いていうちに 「Fluentdやばいこれは使うしかない！」 というテンションになったので早速試してみました。 インストール gem install fluent # 捗りそうなプラグインも gem install fluent-plugin-mongo gem install bson_ext gem install fluent-plugin-flowcounter gem install fluent-plugin-datacounter gem install fluent-plugin-growthforecast 今回試すアプリ ping のレスポンスをログって、そのままgrowthforecastに投げて可視化するまでを目標とします。 pingをログるスクリプト use strict; use
Subsonic+Nginxのアクセスログをfluentdを利用してMongoDBに入れてみた - Glide Note
Fluentd Casual Talksに参加し、fluentdの使いどころが理解できて、 意識が高いうちに早速fluentdの導入をしSubsonic+nginxのアクセスログをMongoDBに入れてみたのでメモ。 導入環境はwebサーバCentOS 6、ログ収集サーバがCentOS 5で、fluentdのバージョンは td-agent-1.1.5.1-0.x86_64になります。いずれもさくらVPSで稼働させています。 nginxの導入は以前書いた下記のエントリを参考にして下さい。 さくらVPS 2G+Subsonic+Nginxで自分用ストリーミングサーバを構築 - Glide Note - グライドノート 今回行った作業の流れ fluentdを初めて触るので、今回は下記のように順を追って検証と導入を行いました。 fluentdの導入 サーバ1台でwebサーバとログ収集サーバを動かし
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fluentdで本番環境を再現
GitHub - awslabs/aws-fluent-plugin-kinesis: Amazon Kinesis output plugin for Fluentd
fluentd を使った大規模ウェブサービスのロギング - 2nd life (移転しました)
fluentd を利用した大規模ウェブサービスのロギング