Fluent Bit の低レイヤーに飛び込んでみて、わかったこと
こんにちは！ シェルフィー株式会社で SRE を担当している石田です。 弊社では、本番のワークロードにて Fluent Bit を使っております。 今回、Fluent Bitの処理について理解を深めたので記事を書いてみました。 世界中で使われているとても有名なミドルウェアなので、参考になればとても嬉しいです。 はじめに 弊社では、ECS on Fargate で稼働しているバッチジョブのログをサイドカーコンテナ（Fluent Bit）を使い Datadog に連携しています。 ログのサイズが 16 KB 以上ある場合、shim-logger の仕様により、そのログは分割されてしまうため、 Fluent Bitにて分割されたログの再結合処理を行う必要性があります。 この点についてはDeNAさんの記事がわかりやすいので、詳細はそちらを参考にしてもらえたらと思います。 AWS ECS on Fa
Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside
こんにちは。 機械学習チームにてレコメンドの改善を行っているgumigumi4fです。 この記事では、Fluentdにて収集したログをBigQueryに挿入する際に使用しているプラグインを置き換えることによって、高スループットかつ低コストを実現した話について紹介します。 背景 pixivではアクセスログやアプリケーションログ等をBigQueryに収集し、分析できるような仕組みを構築しています。 BigQueryへアクセスログを挿入する際はFluentdとそのプラグインであるfluent-plugin-bigqueryを用いて直接BigQueryへ書き込むようになっていたのですが、その際にログ欠損が起こることが問題となっていました。 ログの欠損はピークタイムで発生しており、そのピークタイムのログの流量は概ね毎秒30000logとかなり多く、実際Fluentdのworkerプロセスが1work
俺たちは絶対にKubernetes上の分析ログを欠損させたくないんだっ...！！その対策としてのfluent-pvc-operatorを紹介🐥 - Qiita
俺たちは絶対にKubernetes上の分析ログを欠損させたくないんだっ...！！その対策としてのfluent-pvc-operatorを紹介🐥kubernetes この記事はZOZO Advent Calendar 2021に出したかったけど既に枠が埋まっていたので野良で出した記事です。 はじめに こんにちは。絶対にKubernetes上の分析ログを欠損させたくない@civitaspoです。今年は社内のログ収集基盤構築プロジェクトでfluent-pvc-operatorというKubernetes Operatorを作りました。この記事ではfluent-pvc-operatorが解決する課題、及び機能や使い方について紹介したいと思います。 なお、この記事ではfluent-pvc-operatorの説明に集中するため、ログ収集基盤構築プロジェクトの全体像等には触れません。プロジェクトの全体像
ZOZOTOWNを支えるリアルタイムデータ連携基盤 - ZOZO TECH BLOG
こんにちは、SRE部MA基盤チームの谷口（case-k）です。私達のチームでは、データ連携基盤の開発・運用をしています。 データ基盤には大きく分けて2種類あり、日次でデータ連携してるものとリアルタイムにデータ連携しているものがあります。本記事ではリアルタイムデータ連携基盤についてご紹介します。 既存のデータ連携基盤の紹介 リアルタイムデータ連携基盤の紹介 なぜ必要なのか 活用事例の紹介 データ連携の仕組みと課題 リプレイス後のリアルタイムデータ連携基盤 SQL Serverの差分データの取り方を検討 アーキテクチャ概要と処理の流れ Fluentdのプラグインを使った差分データの取得 Dataflowでメッセージの重複を排除 Dataflowで動的にBigQueryの各テーブルに出力 Pub/Subのメッセージ管理 イベントログ収集基盤 個人情報の取り扱い ビルド・デプロイ戦略 監視 データ
GKE 上の Java アプリケーションからログを出力して Stackdriver Logging でいい感じに閲覧したい
Google Kubernetes Engine (GKE) 上で稼動させている Java アプリケーションのログをいい感じに Stackdriver Logging で閲覧できるようにするメモです。 TL; DR REST API を直接叩くのはライブラリ由来のハングアップ問題に遭遇しかねないので避けた方がいいよ アプリケーションからのログは JSON フォーマットで出力するといいよ ログレベルを表すフィールドは "severity" の名前で出力しよう タイムスタンプは "timestampMillis" と "timestampNanos" をセットで出力しよう Spring Boot アプリケーションなら spring-cloud-gcp-starter-logging を使うのがいいよ はじめに GKE を利用してコンテナ化されたアプリケーションを稼動させていると、アプリケーショ
ローカルで、fluentbitからdatadog/S3へデータを転送できるdockerイメージを作成する - Qiita
ローカルで、fluentbitからdatadog/S3へデータを転送できるdockerイメージを作成するDockerdockerfileDatadogdocker-composeFireLens Firelens構築記事の２回目となります。 １回目 firelensを使用した、ログ分割と監視処理 ３回目 Firelensで、datadog/S3へデータを転送できるdockerイメージを作成する githubのサンプルはfirelensとの連携まで完成しており、文章中の解説はサンプルベースで行います。 サンプル(Github) ローカルで動くサンプルの作成 fluentbitの調整をfargate上で行うと疲弊してしまうので docker-composeで構築のサンプルを作成し、正しく動作するfluentbitの構成ファイルを作成することにしました。 docker-compose.yml v
Docker環境でのログ確認がめんどくさいのでkibanaでみれるようにしてみた - Qiita
docker環境で開発を行っていると、いろんなログをコンテナに入って閲覧したりするのがめんどくさいし、見ずらいので、どこか一箇所で見れるようにしたいと思い、docker作ってみました。 一式をGitHubに公開してますので、是非。 https://github.com/yuya-sega/log-viewer/ 構成 apache 2.4 postgres 12 fluentd 1.6.2-1.0 elasticsearch 7.3.2 kibana 7.3.2 まずは起動してみる $ git clone https://github.com/yuya-sega/log-viewer.git $ cd log-viewer/ $ docker-compose build && docker-compose up ~~ 略 ~~ kibana_1 | {"type":"log","@time
オンラインサービスをECS on Spot Instanceで構築＆運用した - Gunosy Tech Blog
広告技術部のUT(@mocyuto)です。 最近またポケモンGOをちょっとやり始めてしまいました。 今回はオンラインの広告サービスをSpotInstanceを利用したECSで構築し、2ヶ月ほど運用した話を紹介したいと思います。 はじめに アーキテクチャ設計 広告配信 ログ設計 EBSのログ運用 デプロイ設計 canaryデプロイ まとめ はじめに 今まで広告の部署では、コンテナの本番運用はバッチのみでした。 tech.gunosy.io ECS上でdigdagを運用しているものを以前紹介しましたが、オンラインでの大きなトラフィックが流入するものをECSに構築するのは初めてです。 今回、新しいサービスを作成するタイミングだったのでECS*1上にサービスを構築することにしました。 アーキテクチャ設計 今回は単一のECS Clusterに管理画面のサービスと配信系のサービスを同居させ、コスト効率
fluentdのrequire_ack_response設定は、やっぱり必須設定だと再認識したときの検証メモ - Qiita
fluentdのrequire_ack_response設定は、やっぱり必須設定だと再認識したときの検証メモAWSFluentd 1.検証背景 参考記事 Fluentd v0.12のAt-least-once Semanticsを試す fluentdでログが欠損する可能性を考える などで、fluentd v0.12を使ったときに、「require_ack_responseを必ず設定しておくように」というノウハウは、大分浸透するようになったと思われる。 ただ、fluentdを運用する中で、require_ack_responseの設定漏れに気付かず、受信側のfluentdをreloadしてしまうケースも考えられる。 ということで、実際の運用下でこの設定がどれぐらいの効果を発揮するのかを検証してみた。 2.検証環境 2-1.構成図 図にするほどでもないが、fluentdの送信側と受信側のEC2
Kafka/Fluentd/Sparkを用いたデータ分析基盤の運用話 by ペンギン愛好家 さん - niconare
新宿Geek Lounge#4 分析基盤Meetup ver2での発表資料です。 https://shinjuku-geek-lounge.connpass.com/event/83127/
fluent-logger-golang の実戦的な使いかたまとめ - 酒日記 はてな支店
OSS紹介アドベントカレンダー の14日目の記事です。 Fluentd の 公式 Go 版 Logger である fluent-logger-golang はこのように使うのがよさそう、という使い方をまとめてみました。 元々社内で書いておいたドキュメントを編集したものです。 github.com 前提のユースケース Webアプリケーション(APIサーバ) を Go で書いていて、そこから何らかのログを Fluentd に送信したい。 config のお勧めオプション Timeout : Connect に対するタイムアウト。デフォルト3秒なのでそのままでよさそう WriteTimeout : 書き込みのタイムアウト。デフォルトだとずっと待ってしまうので 3 秒とか? BufferLimit : デフォルト 8MB これを超えると捨てられてしまう。送る流量によって調整が必要 MaxRetry
Rin - Redshift data Importer by SQS messaging - のご紹介 - Qiita
この記事はOSS紹介 Advent Calendar 2017 の 1日目の記事です。 Rinとは fujiwara/Rin Rinは、簡単に言えばS3にアップロードしたログをRedshiftに自動で取り込むためのミドルウェアです。私は会社でfluentdと組み合わせて以下の構成図のような形で利用しています。 Rinが行っているのは実線で示している部分です。 log aggregatorと呼ばれるfluentdが起動しているインスタンスからfluent-plugin-s3でS3にアップロードします アップロードをトリガーにSQSにキューが入ります。それをlog aggregatorで起動しているRinが受信します RinはRedshiftでCOPYクエリを発行します COPYクエリを発行されたRedshiftはS3にアップロードされたログを取り込みます 解決される問題 S3にアップロードさ
Fluentd 入門 〜運用に必要な基礎知識〜
最近業務で Fluentd を触ることが出てきて入門したんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「Fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。 トラブルが起きた時にどの処理で問題が起きているのか素早くコードを追うことができて、データの消失を最小限に抑えつつ適切に対処できるようになることを目的としています。 なお、現時点で最新版の Fluentd v0.14.21 を対象にしています。 アジェンダ Getting Started Fluentd のアーキテクチャ Processes Supervisor process Worker process Threads Input thread En
fluentdの運用周りについて書いておく - wyukawa's diary
fluentdは基本的には安定して動くソフトウェアだけど規模が大きくなってユースケースが増えてくるとトラブルに遭遇することもある。今回は運用周り、例えばトラブルシューティングとかモニタリング周りについてちょっと書いてみたい。 前提として僕の環境ではtd-agentは使わず素のfluentd 0.12系を使っており、xbuildでrubyをインストールし、supervisordでプロセス管理している。 また僕はfluentdクラスタを運用する立場であり、このクラスタに対して社内のメンバーが自由にfluentdを使ってログを送信するという形になっている。 なので末端のfluentdの管理は僕ではなく各自でやってもらうということになっているのだが、そこで問題が出ることもある。 fluentdのバージョン管理問題 例えば、とあるfluent pluginをインストール or アップデートしたらfl
kafka-fluentd-consumerのConsumerLagが大きくなっていたので調べてみた - wyukawa's diary
うちの環境ではKafka -> kafka-fluentd-consumer -> Fluentd -> Elatsticsearchという経路でログをElatsticsearchに送ってKibanaで可視化しています。 ところがKibanaで直近のログが見れないという問い合わせがあり調査していたら、kafka-fluentd-consumerのConsumerLagが大きい状態で、要はconsumerで詰まっていた。 jmx, prometheus経由でConsumerLagはモニタリングしていたのですが、あんまりちゃんと見てなくて気付けば定期的にlagが大きくなっている状態でした。 まあほっといても解消してた気もしますが、調査しました。 hasNextのConsumerTimeoutExceptionの部分の詳細を見たほうがいいのではという話になりログを仕込んで再起動しました。他にもロ
lltsvでLTSV形式のデータをサクサクパースしよう | メルカリエンジニアリング
LTSVはLabeled Tab-separated Valuesの略で、コロンで区切られたラベルと値の組み合わせ(key:value)をタブ区切りで表現したフォーマットです。 主にログデータのフォーマットとしての利用が想定されています。 uri:/upload status:400 size:13599 reqtime:0.280 apptime:0.150 uri:/downalod status:200 size:12812 reqtime:0.330 apptime:0.210 uri:/item/new status:200 size:29830 reqtime:0.050 apptime:0.050 uri:/item/fav status:200 size:33123 reqtime:0.100 apptime:0.099 uri:/top status:301 size:1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
KinesisとLambdaでつくるServerlessなログ基盤 @ AWS DevDay Tokyo 2019 [C-2]![KinesisとLambdaでつくるServerlessなログ基盤 @ AWS DevDay Tokyo 2019 [C-2]](https://cdn-ak-scissors.b.st-hatena.com/image/square/7e518a2e41301ea8958909feba50e35cd5747e8d/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2Fb79f3bc288724aa2b1685401ea774103%2Fslide_0.jpg%3F13762636)
Vector
プラグイン開発者から見るfluentd v1.0の活用法
lestrrat-go/fluent-clientの紹介
