エージェンシー事業でリードアプリケーションエンジニアを行なっている大窄 直樹 (おおさこ)です. AWSのログ, サーバーのログってたくさん種類があって難しいですよね... 同じようなログがたくさんあるので, 何を取れば良いのかとか どのくらいの期間保持すれば良いのかとか またその後の, ログの実装や, 分析方法する方法も難しいですよね... 今回AWSに構築した商用アプリケーションのログを整備する機会があったので, このことについて書こうかなと思います. 概要 本題に入る前の準備 今回ログ実装するアーキテクチャ ログに関する法令 ログの取得箇所 設計 保管するログの決定 インフラのログ OSのログ アプリケーションのログ ログの保管 保管場所について 保管期間について バケット構造 アプリケーション, OSのログの転送 実装 アプリケーション, OSのログをfluentbitを用いてS3
ログ基盤のFluentdをFluent Bitに移行して監視ツールを実装した話 - Mirrativ Tech Blog
はじめまして、Azuma（@azuma_alvin）です。現在大学院の1年生で、2024年2月から4ヶ月間ミラティブのインフラチームにインターンとして参加しました。普段はインフラやMLOpsといった領域に興味があり、最近はVim環境の整備がマイブームです。 本記事では、ログ基盤をFluentdからFluent Bitへ部分移行した経緯とその2種類の監視ツールの実装についてお話しします。 記事の最後に、インターンから見たインフラチームの特徴と私が4ヶ月間で学んだことを紹介しています。興味がある方は末尾までスクロールしてぜひご覧ください。 1. 背景と目的 2. ミラティブのログ基盤について 3. ログ欠損の原因調査 Fluentdのバッファリングの仕組み fsnotifyを用いたバッファリングの観察 負荷試験 日付時刻フォーマットとワイルドカードによるログ欠損 ログ保存とサーバータイムスタン
何問わかるかな？AWS FireLens（Fluent Bit利用版）クイズ！！！ - LayerX エンジニアブログ
こんにちは。バクラク事業部Platform Engineering部DevOpsチームの@civitaspoです。 7月はLayerXエンジニアブログを活発にしよう月間 ということで、この記事ではAWS FireLensに関する情報をクイズ形式でお届けします。 みなさんはAWS FireLensを使っていますか？弊社ではAmazon ECS上にアプリケーションをホスティングしており、AWS FireLensを利用してログ収集・ログ送信を行っています。AWS FireLensは非常に便利です。一方、AWS FireLensは奥が深い挙動をすることもあります。この記事ではそんなAWS FireLensを深く理解するための情報をクイズ形式でお届けしてみることにしました。僕が知る限りの情報を詰め込んでみたのでAWS FireLensを深く理解したい方に届けばいいなと思います。 AWS FireLe
2013年4月に新卒でとある中小SIer会社に入社し、前年に発足したばかりのビッグデータチームに配属された私はそこでトレジャーデータを初めて知ることとなった。 その後、紆余曲折があり、2023年時点もトレジャーデータで働いています。このシリーズでは、私の社会人生活においてずっと関わっている、トレジャーデータの様々な機能や歴史について備忘録として残していきます。(注意: 個人の記憶を思い起こして書いてるだけなので、実際と異なる可能性がある点を注意ください。） 記事一覧: 私とTreasureData カテゴリーの記事一覧 - Secret Ninja Blog Fluentd Fluentdについて知らなければFluentd実践入門をまず読みましょう。 Fluentd実践入門 ── 統合ログ基盤のためのデータ収集ツール WEB+DB PRESS plus 作者:田籠 聡技術評論社Amazon
盲目的に始めないためのオブザーバビリティ実践ガイド - Cloud Observability in Actionの読書感想文 - じゃあ、おうちで学べる
誕生日エントリー兼読書感想文です。 www.amazon.jp はじめに クラウドコンピューティングの普及とマイクロサービスアーキテクチャの台頭により、システムの複雑性が増大しています。そのような中で、オブザーバビリティ(可観測性)の重要性が高まっています。本書「Cloud Observability in Action」は、クラウドネイティブなシステムにおけるオブザーバビリティの概念と実践方法を包括的に解説した一冊です。 learning.oreilly.com オブザーバビリティとは、システムの外部から観測できる情報に基づいて、内部の状態を推論し理解する能力のことを指します。本書では、オブザーバビリティを投資対効果の観点から捉え、データの生成から収集、処理、可視化に至るまでのプロセス全体を俯瞰します。OpenTelemetryやPrometheus、Grafana、Loki、Jaege
概要 今回は、EC2で稼働している弊社のアプリケーションログをCloudWatch Logsへ集約しました。 その中で調査したツールの比較や、設定方法について紹介します。 背景 弊社の主要なアプリケーションは2台のEC2で稼働しています。 これまではエラーを調査する際、 EC2（A）にsshで接続してログファイルをgrepして探し、 該当エラーがない場合はEC2（B）にsshして... とそれぞれのインスタンスを行き来することになり、調査に時間がかかっていました。 そこで、アプリケーションログをCloudWatch Logsに集約することでログを一元管理し、ブラウザからエラー調査ができるようにする必要がありました。 各ツールの比較 FireLens ECSの場合使用可能。今回は通常のEC2なので候補から外れました。 なぜ単に Fluentd や Fluent Bit を推奨しないのですか？
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSでの法令に則ったログ設計及び実装/分析 - Adwaysエンジニアブログ
私とTreasureData vol.2 ~ fluentd編 ~ - Secret Ninja Blog
アプリケーションログをFluent BitでCloudWatch Logsに集約した話 - Qiita