エージェンシー事業でリードアプリケーションエンジニアを行なっている大窄 直樹 (おおさこ)です. AWSのログ, サーバーのログってたくさん種類があって難しいですよね... 同じようなログがたくさんあるので, 何を取れば良いのかとか どのくらいの期間保持すれば良いのかとか またその後の, ログの実装や, 分析方法する方法も難しいですよね... 今回AWSに構築した商用アプリケーションのログを整備する機会があったので, このことについて書こうかなと思います. 概要 本題に入る前の準備 今回ログ実装するアーキテクチャ ログに関する法令 ログの取得箇所 設計 保管するログの決定 インフラのログ OSのログ アプリケーションのログ ログの保管 保管場所について 保管期間について バケット構造 アプリケーション, OSのログの転送 実装 アプリケーション, OSのログをfluentbitを用いてS3
AWSのログ管理についてはいくつか考えるポイントがあると思います。 どのログを保存するか。 CloudWatch Logs（以下CW Logsと記載）とS3のどちらに保存するか、もしくは両方に保存するか などなど。 システムの特性によるところも多いかと思いますが、自分の中でのログ管理のベースラインが定まりつつあるので、頭の整理がてらまとめます。 自分の中での大まかな方針としては以下です。 S3に保存できるものは基本S3に保存する。 以下の場合は、CW Logsに保存する。必要に応じてS3に転送する。 アラームを出したい場合 さっとCW Logs Insightでログを確認したい場合 CW Logs に出さざるを得ない場合 全体像としては以下になります。 なおあくまで個人的な経験に基づくものなので、実際にはシステムの特性を踏まえて方針の決定が必要かと思います。 またこれは必要、これは不要など
ログ基盤のFluentdをFluent Bitに移行して監視ツールを実装した話 - Mirrativ Tech Blog
はじめまして、Azuma（@azuma_alvin）です。現在大学院の1年生で、2024年2月から4ヶ月間ミラティブのインフラチームにインターンとして参加しました。普段はインフラやMLOpsといった領域に興味があり、最近はVim環境の整備がマイブームです。 本記事では、ログ基盤をFluentdからFluent Bitへ部分移行した経緯とその2種類の監視ツールの実装についてお話しします。 記事の最後に、インターンから見たインフラチームの特徴と私が4ヶ月間で学んだことを紹介しています。興味がある方は末尾までスクロールしてぜひご覧ください。 1. 背景と目的 2. ミラティブのログ基盤について 3. ログ欠損の原因調査 Fluentdのバッファリングの仕組み fsnotifyを用いたバッファリングの観察 負荷試験 日付時刻フォーマットとワイルドカードによるログ欠損 ログ保存とサーバータイムスタン
すべてのログは標準出力・標準エラー出力に出力 ・Dockerのlogging driver ・ログの集約がしづらい ・Fluentdに転送設定 コンテナ起動時に既にFluentdが死んでいる場合、コンテナが起動できない など。詳細は以下のサイトを参照 Dockerコンテナ上のログ集約に関するまとめ Dockerのlogging driver: それぞれの特徴と使いどころ(json-file, syslog, journald, fluentd) 対象のログ リアルタイムに出力されるログが対象 ・Fluentd / fluentd-ui ・FluentBit ・Filebeat ・Logstash 既にあるログが対象 ・Embulk Fluentdのバッチ版Embulk(エンバルク)のまとめ Docker-composeを使ってEmbulk,Elasticsearch,Kibana環境を構築
Amazon Elasticsearch ServiceによるECSアプリケーションのログ解析基盤の構築 - BASEプロダクトチームブログ
こんにちは、BASE BANK 株式会社 Dev Division でエンジニアとしてインターンをしている前川です。 今回、Amazon Elasticsearch Service(以下、Amazon ES)による、ECS/Fargate で稼働するアプリケーションのログデータの解析基盤を新規で構築することになったので、構築するにあたって調査した内容や関連する内容、実際におこなった構築方法についていくつか紹介します。 今回の構築の簡単な全体構成図は次のようになります。 今回は、 ECS/Fargate のログを S3 にルーティングする Amazon ES にログをルーティングする VPC アクセスの Amazon ES を構築し、Kibana を外部からアクセスできるようにする の３つの手順にわけて、構築方法や関連する内容について紹介していきたいと思います。 なお、この記事で取り扱ってい
はじめに こんにちは。SRE部の板谷(@SItaya5)です。 Gunosyでは様々なプロダクトでECS(Amazon Elastic Container Service)を使用してタスクを実行しています。 ECSの起動タイプにはEC2とFargateの2種類がありますが、どちらのタイプも混在しています。 ログの送信先としては、主にPapertrailというサービスを使用しています。 しかし、Fargateで実行しているタスクに関しては、ログの送信先(Log Driver)に選択の余地がなく、Cloudwatch Logs一択でした。 そのため、EC2で実行しているタスクのログはPapertrailに送信されていましたが、一方のFargateで実行しているタスクはCloudwatch Logsに送信せざるを得ませんでした。 このように起動タイプ毎にログの送信先が分かれており、管理が煩雑にな
入門 EKS on Fargate - Qiita
プロダクションで EKS on Fargate を(できるだけ)使うことを目標に EKS on Fargate に入門します。 Managed Node Groupとの使い分けなどについてもまとめます。 ※ 本記事は 2019/12/14 時点の情報に基づいています。 Fargate、EKS on Fargateとは FargateはAWS上で「仮想マシンの管理なしにコンテナをデプロイできるサービス」です。 元々はAWS独自のコンテナオーケストレーションシステムであるECSの一機能と思われていましたが、EKS on Fargateが登場した今では、「ECS・EKSどちらでも動く、コンテナ化されたワークロード向けのサーバレスコンピュートエンジン」という体でブランディングされているようです。Fargateの公式ページ冒頭でも以下のように紹介されています。 AWS Fargate is a se
何問わかるかな？AWS FireLens（Fluent Bit利用版）クイズ！！！ - LayerX エンジニアブログ
こんにちは。バクラク事業部Platform Engineering部DevOpsチームの@civitaspoです。 7月はLayerXエンジニアブログを活発にしよう月間 ということで、この記事ではAWS FireLensに関する情報をクイズ形式でお届けします。 みなさんはAWS FireLensを使っていますか？弊社ではAmazon ECS上にアプリケーションをホスティングしており、AWS FireLensを利用してログ収集・ログ送信を行っています。AWS FireLensは非常に便利です。一方、AWS FireLensは奥が深い挙動をすることもあります。この記事ではそんなAWS FireLensを深く理解するための情報をクイズ形式でお届けしてみることにしました。僕が知る限りの情報を詰め込んでみたのでAWS FireLensを深く理解したい方に届けばいいなと思います。 AWS FireLe
普段トレジャーデータでサポートしてる@nora96oです。 今回は、Treasure Data Advent Calendar 2015の10日目の記事です。 去年は、TreasureDataの1年半を機能面で振り返るという記事を12月に書いたので、今年も2015年を振り返ってみます。 Streaming Import Fluent Bit Fluentd Bitという組み込みLinux向けにC言語で書き直された軽量のFluentdをリリースしました。 MQTTやXbee Input Pluginを持っていてIoT向けのFluentdといったところです。 ちなみにMailing ListやSlackなどもあって、興味があれば参加してみていただけると嬉しいです。 メインメンテナのEduardoが喜びます。 Slack: http://slack.fluentd.org Mailing lis
こんにちは、電通国際情報サービス デジタルイノベーション1部の加世です。 今回は「FluentBitを利用したログルーティング」を進める際に、「FluentBitについて理解する」ことを目的とした記事となっております。 具体的なFluentBitの使い所や設計を考える前段階として、本記事を参考にしていただければと思います。 Fluent Bitについて Fluent Bitの特徴 検証環境と処理フローについて Fluent Bit設計前の準備 データパイプラインの理解 データの構造化について まとめ Fluent Bitについて FluentBitは、データ（メトリクス、ログ、それ以外の生情報など）をInput情報として収集し、加工処理したうえで任意の転送先に転送します。 クラウドサービスプロバイダを利用するうえでは、既に「システム」から「サービス」に転送する仕組みを用意していることが多い
[Loki]Grafana Loki を素振りしたメモ Grafana Loki が ちょっと前に v1.0.0 がリリースされて GA になっていた ので素振りしました。 試したバージョンは v1.2.0 です。Kubernetes とかはよくわからないのでスルーしてます。 概要 Grafana Loki は Grafana Labs で作られているログストレージ＆クエリエンジンです。単体だとログを貯めるしかできませんが Grafana でデータソースとして指定して貯めたログを閲覧できます。 Loki へログを送るには Promtail というエージェントを使います（他にもいくつか公式でサポートされている方法はあります）。 似たようなプロダクトでは「EFKスタック」として知られる ElasticSearch/Fluentd/Kibana が有名です。 Grafana と Loki Gra
FireLens（Fluent Bit）の設定ファイルをローカル実行時とFireLensで起動したときの違いを見比べてみる | DevelopersIO
以下のAWSブログで説明されている文章が何を示しているのか、AWS FargateとFireLens（Fluent Bit）を使って調べました。調べてわかったことはFluent Bitの設定ファイルとECSのタスク定義の関連性を把握しておくとトラブルシュート時に役にたちそうです。 オプションのユーザー提供の設定。ユーザーが独自の設定ファイルを指定した場合、include ディレクティブを使用して、生成された設定ファイルにインポートします。 引用: 詳解 FireLens – Amazon ECS タスクで高度なログルーティングを実現する機能を深く知る | Amazon Web Services ブログ まとめ ユーザ独自の設定ファイルは /fluent-bit/etc/fluent-bit.confから呼び出される /fluent-bit/etc/fluent-bit.confの設定内容は
FireLens という ECS で EC2/Fargate のどちらの起動タイプでも使用できるログドライバが、パブリックプレビューで誰でも使用できるようになったので試してみたメモです。 Amazon ECS タスクから FluentBit, Fluentd を利用したログルーティングを可能にする "FireLens" ロギングドライバの Public Preview 開始です 👏👏👏 ECS, Fargate が利用できる全リージョンで今日からお試しいただけます！ / "Amazon ECS and AWS Fargate FireLens ..." https://t.co/ZJDxRyBalk — ポジティブな Tori (@toricls) August 31, 2019 これまでの状況 Fargate のログドライバはしばらくの間 CloudWatch Logs しか使用で
アプリケーションログをFluent BitでCloudWatch Logsに集約した話 - Qiita
概要 今回は、EC2で稼働している弊社のアプリケーションログをCloudWatch Logsへ集約しました。 その中で調査したツールの比較や、設定方法について紹介します。 背景 弊社の主要なアプリケーションは2台のEC2で稼働しています。 これまではエラーを調査する際、 EC2（A）にsshで接続してログファイルをgrepして探し、 該当エラーがない場合はEC2（B）にsshして... とそれぞれのインスタンスを行き来することになり、調査に時間がかかっていました。 そこで、アプリケーションログをCloudWatch Logsに集約することでログを一元管理し、ブラウザからエラー調査ができるようにする必要がありました。 各ツールの比較 FireLens ECSの場合使用可能。今回は通常のEC2なので候補から外れました。 なぜ単に Fluentd や Fluent Bit を推奨しないのですか？
Amazon OpenSearch Serverless が一般利用可能になりました | Amazon Web Services
Amazon Web Services ブログ Amazon OpenSearch Serverless が一般利用可能になりました この記事は、Amazon OpenSearch Serverless is now generally available! を翻訳したものです。 私たちは re:Invent で Amazon OpenSearch Serverless のプレビューでのリリースを行い、2022 年を締め括りました。そして本日、インフラストラクチャの管理を考える必要なく、検索や分析のワークロードを簡単に実行できる Amazon OpenSearch Service のサーバーレスオプションである Amazon OpenSearch Serverless の一般公開を発表できることを嬉しく思います。この投稿では、OpenSearch Serverless のアプローチと高レベ
はじめに 先回、ログ集約の文章を書いてからログ集約のお仕事を多く頂くようになり、ログを積極的にビジネスに活かす分析基盤構築の機会に恵まれました。それに伴い、いろいろなところで分析基盤にどのような技術を取り入れているか伺う機会が多くなりました。 分析基盤で利用されるツールの種類は多岐に渡り、企業様や事業の性格でいろいろ使い分けが出てきます。それなのに今回はそのような分析基盤の全体感を包括的に説明してしまう無謀な挑戦をしながら、私がおよそメジャーどころの分析基盤ツールを構築した際の使用感(と苦労話)を紹介したいと思います。 全体図 今回の記事で紹介する内容の構成イメージです。AWSとGCPのマルチクラウド、クロスプラットフォームの図になっています。AWSは極力クロスプラットフォームで環境を構築せずにAWSだけで囲い込みたい方針のようですが、世の中はクロスプラットフォームの流れに向いていくと思い
バッチサーバからはじめるサーバレスアーキテクチャ - Techfirm Cloud Architect Blog
時代はオンプレ環境から仮想サーバ環境へ移り、そして今はクラウドネイティブという言葉も生まれています。 旧来からあるシステムを運用保守されている方の中には、サーバレス化に興味はあるものの手を付けられていない方もいるかと思います。 そこで、バッチサーバがあるなら、そこのサーバレス化から検討される事をオススメいたします。 バッチサーバをサーバレス化する理由 バッチサーバをサーバレス化するのには、たとえば以下のような理由が考えられます。 小規模から試しやすい コスト削減 耐障害性 セキュリティ対策等の影響範囲最小化 小規模から試しやすい Webアプリケーションは1機能ずつ切り出すことは難しいですが、バッチは1機能ごとに独立して動作する場合が多いと思います。 対象機能が限定されるのでテスト範囲も限られ、小規模なチームでサーバレス化作業を実施しやすくなります。 簡単なバッチのサーバレス化を行うことでD
はじめに こんにちは。SRE部の板谷(@SItaya5)です。 Gunosyでは様々なプロダクトでECS(Amazon Elastic Container Service)を使用してタスクを実行しています。 ECSの起動タイプにはEC2とFargateの2種類がありますが、どちらのタイプも混在しています。 ログの送信先としては、主にPapertrailというサービスを使用しています。 しかし、Fargateで実行しているタスクに関しては、ログの送信先(Log Driver)に選択の余地がなく、Cloudwatch Logs一択でした。 そのため、EC2で実行しているタスクのログはPapertrailに送信されていましたが、一方のFargateで実行しているタスクはCloudwatch Logsに送信せざるを得ませんでした。 このように起動タイプ毎にログの送信先が分かれており、管理が煩雑にな
盲目的に始めないためのオブザーバビリティ実践ガイド - Cloud Observability in Actionの読書感想文 - じゃあ、おうちで学べる
誕生日エントリー兼読書感想文です。 www.amazon.jp はじめに クラウドコンピューティングの普及とマイクロサービスアーキテクチャの台頭により、システムの複雑性が増大しています。そのような中で、オブザーバビリティ(可観測性)の重要性が高まっています。本書「Cloud Observability in Action」は、クラウドネイティブなシステムにおけるオブザーバビリティの概念と実践方法を包括的に解説した一冊です。 learning.oreilly.com オブザーバビリティとは、システムの外部から観測できる情報に基づいて、内部の状態を推論し理解する能力のことを指します。本書では、オブザーバビリティを投資対効果の観点から捉え、データの生成から収集、処理、可視化に至るまでのプロセス全体を俯瞰します。OpenTelemetryやPrometheus、Grafana、Loki、Jaege
一寸先は/dev/null
概要 VSCodeでArduino開発環境を構築するまでのメモ。 Windows10 20H2 上で環境構築した。*1 VSCodeで開発環境を構築できるようなので、VSCode入門もかねて環境構築した。 目次 概要 目次 ダウンロード VSCode Arduino SDK VSCodeのarduino拡張 設定 VSCodeのarduino拡張設定 日本語文字化け対策 サンプルプログラムの動作確認 サンプルプログラムを開く (Arduino:Examples) ボード等の設定 コードのVerify (Arduino: Verify) コードの焼きこみ (Arduino: Upload) シリアルの読み出し (Arduino: Open Serial Monitor) 余談: 購入したArduinoセット ダウンロード Visual Studio Code本体+ArduinoSDK+VSC
td-agent-bitでapacheのエラーログを検知してslackに通知させる - TORIPIYO DIARY
td-agent-bitでapacheのエラーログが出力されるとslackに通知が送られるように、raspberry piに設定をしました。（ずいぶんと不恰好な実装になってしまいましたが。）なぜ、td-agentではなくて、td-agent-bitなのかというとサーバ内でのメモリの消費をできる限り抑えたかったからです。td-agent-bitを利用した設定に関する日本語の記事はほとんど見かけない（td-agentはよく見るけど）ので、誰かの役に立つことを祈って残しておきます。 fluentdとfluent-bitの違いはこちらを参照 Fluentd & Fluent Bit | td-agent-bitのインストールと設定 Raspberry Pi · Fluent Bit v0.11 Documentation td-agent-bit.confでは、apacheのerror.logをみ
Fluentd - クリアコード
Fluentdに関するよくある質問集Q1. FluentdはどんなプログラムですかQ2. 情報はどこで知ることができますかQ3. FluentdのライセンスはなんですかQ4. FluentdはどこでダウンロードできますかQ5. リリースはどうなっていますかQ6. 過去のバージョン情報についてしりたいのですがどこで確認できますかQ7. Fluentdのサポート期間はどのくらいですかQ8. Fluentdはいつも更新しないとだめですかQ9. トラブルシューティングしたいときはどうすればいいですかQ10. バグなどがあった場合はどうすればいいですかQ11. Fluentdの導入の手順はどこで確認できますかQ12. Fluentdと関連ソフトウェアの構築などの使い方はどこかにまとまっていますかQ13. エンタープライズ向けのサポートサービスはありますかQ14. FluentdとFluent Bit
Ubuntu Linux 18.04 LTSに、Fluent Bitをインストールする - CLOVER🍀
これは、なにをしたくて書いたもの？ 以前、少しFluentdを触っていたのですが、Fluent Bitも1度確認しておいた方がいいかな、と思いまして。 今回、軽く試してみることにしました。 Fluent Bit？ Fluent Bitのオフィシャルサイトは、こちら。 Fluent Bit GitHubリポジトリは、こちら。 GitHub - fluent/fluent-bit: Fast and Lightweight Log processor and forwarder for Linux, BSD and OSX Fluent Bitとは、オープンソースかつ、マルチプラットフォームで動作するログプロセッシングツールです。 様々なデータソース、様々なデータフォーマットを扱うことができ、データの保証やルーティングを行いつつ、複数の 出力先にデータを渡すことができます。 What is F
ページ容量を増やさないために、不具合報告やコメントは、説明記事に記載いただけると助かります。 対象期間: 2020/01/13 ～ 2021/01/12, 総タグ数1: 45,560 総記事数2: 166,944, 総いいね数3: 2,326,183, 総フォロワー数4: 119,088 総合評価5: ((68.756 * 記事数) + (4.457 * いいね数) + (115.138 * フォロワー数))pt 総合順位;タグ名;記事数順位;いいね数順位;フォロワー数順位 1;Python;1;2;1 2;JavaScript;2;1;2 3;Ruby;4;5;7 4;Rails;3;4;16 5;PHP;8;12;12 6;AWS;5;7;30 7;初心者;6;3;61 8;Git;18;14;4 9;GitHub;26;19;3 10;Docker;7;6;28 11;Linux;1
FireLens から New Relic Logs へ New Relic 謹製 Fluent Bit イメージを利用してログを保存してみた | DevelopersIO
AWS Fargate で稼働しているWebアプリケーションのログを FireLens（Fluent Bit）でログルーティングして New Relic Logs へログの保存を試してみます。 New Relic 謹製の Fluent Bit イメージと、一般的に利用されている AWS for Fluent Bitイメージとの設定の違いに焦点をあてて確認します。 以下のドキュメントを参考に設定します。本検証では New Relic の USアカウントを使用しています。EUアカウントの場合は設定方法に違いがあるためドキュメントを確認してください。 AWS FireLens plugin for log forwarding | New Relic Documentation New Relic ライセンスキー発行 FireLens（Fluent Bit）から New Relic へデータ送信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSでの法令に則ったログ設計及び実装/分析 - Adwaysエンジニアブログ
個人的AWS ログ管理のベースライン - mazyu36の日記
Dockerのログ収集方法の調査 - Qiita
ECSのログ管理にFirelensを導入してみた - Gunosy Tech Blog
TreasureDataの2015年を新機能で振り返る - Qiita
Fluent Bitを利用したログルーティング - 入門編 - 電通総研 テックブログ
Grafana Loki を素振りしたメモ - ngyukiの日記
AWS ECS で FireLens ログドライバを試したメモ - Qiita
2020年度版 データ分析基盤での利用ツールの紹介(とハマりごと) - Qiita
ECSのログ管理にFirelensを導入してみた - Gunosy Tech Blog
タグ一覧(ランキング順)【直近１年間/上位25,000タグ】【2021/1 更新停止】 - Qiita