firelensを使用した、ログ分割と監視処理 - Qiita
■１〜３回の内容を再設計した記事を書きました。 FireLens/fluentbit構成の見直しと改修 はじめに ここ最近、FireLensの機能選定を行っており fluentbitのカスタムイメージを作成し、FireLensに接続するまでの機能調査を行いました。 １回目の記事です。 ２回目 ローカルで、datadog/S3へデータを転送できるdockerイメージを作成する ３回目 Firelensで、datadog/S3へデータを転送できるdockerイメージを作成する FireLens実装サンプル 概要 VPC内で稼働しているwebアプリケーションのEC2インスタンスを、fargate化したいという話がありました。 改修に伴い、fargateコンテナをステートレスにする為、ログの管理方法が話題に上がりました。 また、監視業務を内製化したいという要望もあった為、ログの検知システムも検討し
CloudWatch LogsでAWSコンソールでfilterできない量のログをCLIでなんとかする - Qiita
こんな課題を解決したい CloudWatch Logsでログを調査したい 特にログ周りの整備や連携は進んでいないので、現状CloudWatch Logsだけでなんとかしている 探したいおおまかな時間とキーワードはわかっている AWS Console上でイベントのフィルターで時間とキーワードを指定して検索しようとする ログが多すぎて、いつまで経っても結果が帰ってこない 基本Lambdaのログを想定（他でも使えると思います） これを、CLIとコマンドを組み合わせて、なんとか周辺のログを取得するお話です モデルケース 今回は、例えば以下のようなLambdaのログを仮定してみます Lambda関数名: TestLambda 取得したい時間: 2019/08/20 10:00 - 10:10 (1566262800000 - 1566263400000) 検索したいキーワード: Error その他条
最新のログもすぐクエリできる速くて容量無限の最強ログ基盤をRedshift Spectrumで作る - クックパッド開発者ブログ
こんにちは。去年の今頃は Rust を書いていました。 インフラストラクチャー部データ基盤グループの id:koba789 です。 背景 クックパッドではデータ基盤の DBMS として Amazon Redshift を利用しています。 既存のデータ基盤について詳しいことは クックパッドのデータ活用基盤 - クックパッド開発者ブログ を参照してください。 今まで、ログは数時間に1度、定期実行ジョブで Redshift 内のテーブルにロードしていました。 ロードジョブの実行間隔が "数時間" と長めなのは、Redshift のトランザクションのコミットが遅いためです。 クックパッドでは数百ものログテーブルがあるため、仮に1分おきにすべてを取り込もうとすると秒間数回以上のコミットを行わなければなりません。 このような頻繁なコミットは Redshift 全体のパフォーマンスを悪化させてしまいます
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
