VPC Flow LogsをAthena + QuickSightで
分析してデータ転送料金の内訳を調査する 〜 実践的なコスト最適化の洞察 〜 - Uzabase for Engineers
こんにちは。ソーシャル経済メディア NewsPicksのSREチームで仕事をしている安藤です。 NewsPicks Advent Calendar 2023 の1日目ということで、日常の業務風景から軽いコスト最適化TIPSをご紹介します。 qiita.com AWSコストを最適化したいよぉ〜 NewsPicksはおかげさまでサービス10周年を迎え、ユーザー数も事業も伸びておりますが、 事業の成長やエンジニア組織の拡大に比例してAWSコストが増え、円安でさらに日本円での負担が増え、となると事業の利益率にも少なからず影響がでます。 私が所属するSREチームでは、「売上に対するAWSコストの割合は、規模が拡大するほど減っていくべき」という考えを持っており、 積極的にAWSサービスの使い方を見直して毎年コストを削っていくつもりで仕事をしています。 AWSが提唱するCloud Financial M
[アップデート]CloudWatch Logsに異常検出とパターン分析の機能が3つ追加されました！ #AWSreInvent | DevelopersIO
はじめに CX事業本部の佐藤智樹です。 今回はCloudWatch Logsに異常検出とパターン分析のための機能が3つ追加されたため、それぞれを紹介いたします。CloudWatch Logsを見る際は基本開発中に正常動作しているかの確認や本番稼働中に不審な動作が起きているか確認する際の2パターンが多いかと思います。今回の機能は後者の通常とは異なるパターンが出た際に、障害箇所の特定や原因調査のために役立つ機能になるかと思います。 結論 今回のアップデートではCloudWatch Logs Insightsに1,2の機能が、CloudWatch Logsに3の機能が追加されたことだけ認識すれば大丈夫です。開発中や障害対応の訓練や発生時などに試してみて下さい。 パターンビュー 似たようなパターンのログを集約して何が、いつ発生しているかをまとめて表示し、エラー傾向の分析などができる 比較モード 検
![[アップデート]CloudWatch Logsに異常検出とパターン分析の機能が3つ追加されました！ #AWSreInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f099104aaa09df58f234f4f90b04b2f5cefbb675/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feyecatch_reinvent-2023-newservice-update.png)
CloudWatch Logs Insightsを利用し、VPCフローログで送信元/先をIPやCIDRに絞り込み分析してみた | DevelopersIO
はじめに Amazon CloudWatch Logs Insightsを利用して、送信元や送信先を特定のIPアドレスやCIDRに絞り込み、VPCフローログを分析しました。 VPCフローログは、VPC内のネットワークインターフェースを通過するIPトラフィックの情報をキャプチャする機能です。 VPCフローログは、CloudWatch LogsやS3に保存することができ、またKinesis Data Firehoseに送信することも可能です。 VPCフローログの作成と保存方法は、下記を参考にして下さい。 この記事では、サブネットに適用したルートテーブルのルーティング設定のうち、不要なルーティング設定かどうか判断するため、VPCフローログをCloudWatch Logs Insightsで分析する機会がありましたので、具体的なクエリを紹介します。 1つ送信元IPから１つの送信先IP 単一の送信元
GitHub - hyperdxio/hyperdx: Resolve production issues, fast. An open source observability platform unifying session replays, logs, metrics, traces and errors powered by Clickhouse and OpenTelemetry.
HyperDX helps engineers quickly figure out why production is broken by centralizing and correlating logs, metrics, traces, exceptions and session replays in one place. An open source and developer-friendly alternative to Datadog and New Relic. Documentation • Chat on Discord • Live Demo • Bug Reports • Contributing 🕵️ Correlate end to end, go from browser session replay to logs and traces in just
CloudWatch Logsのロググループ名とログストリーム名の命名規則を一部のAWSサービスに限りまとめてみた | DevelopersIO
はじめに マルチアカウント構成において、アカウント発行後にCloudFormationを使ってアカウントのベースライン(セキュリティ、ネットワーク、ログ等)を構築することがよくあります。 その際、AWSサービスごとに1つのロググループをベースラインで作成するか、メンバーアカウント側で必要に応じてロググループを作成するかを検討する必要があります。 1つのロググループに複数のリソースのログを集約する方法と、リソースごとにロググループを作成する方法には、それぞれメリットとデメリットがあります。 1つのロググループを集約する メリット 管理するリソースが減る 手動で作成する手間が減る ログをクエリする際、関連するログが1つのロググループにまとめられていると効率的になることがある デメリット １秒間のログイベント書き込みには制限があるため、エラーになる可能性がある 各リソースごとに識別できるログスト
Amazon CloudWatch Logs announces streaming API support for Live Tail
We are excited to announce streaming API support for Amazon CloudWatch Logs Live Tail, making it possible to programmatically view, search and filter relevant log events in real-time. You can now view your logs interactively in real-time as they’re ingested within your own custom applications or dashboards inside or outside of AWS. Live Tail console has been providing customers a rich out-of-the-b
CloudWatch Logs Insights クエリを定期的に実行して結果をS3に置く(EventBridge Scheduler, Step Functions, Lambda) - KAYAC engineers' blog
カヤックSREの今です。 SRE連載8月のエントリーになります。 techblog.kayac.com Amazon CloudWatch Logs Insights(以下Insights)は、CloudWatch Logsのログを期間を指定して検索、集計、簡単な文字列処理を行うことが出来ます。 Webコンソールから手軽に利用することができ、エラーが起きた際のログ調査に日常的に利用しています。 クエリは非同期で実行されますが、Webコンソールからクエリを実行して結果の表示前にページを離れてしまうと、クエリ結果をWebコンソール上で確認することができません。 Webコンソール上の履歴からリクエストIDを取得し、AWS CLIからaws logs get-query-result --query-id=[リクエストID]を実行することで結果をjsonで得ることができます。 今回は自動で日時の集
コーヒーが好きな emi です。 私は CloudWatch Logs というサービスが便利で好きなのですが、一般的に「S3 と比べてコストがかかる」という印象を持たれている方が多いと感じています。 何にどれくらいコストがかかっているのか どんな時に CloudWatch Logs への保存を考えたらいいのか コスト削減するにはどのようなアーキテクチャにしたらいいのか 等を調査しまとめました。 料金簡易比較表 ※ 2024/5/25 時点の東京リージョンでの料金で、$1 = 156円換算 ※ どちらも保存クラスがスタンダードの場合 ※ S3 の書き込み料金はリクエスト回数によって計算されるため、下記表では 1 GB のファイルを 1 回でアップロードすることを想定して計算している CloudWatch Logs S3 Standard
DevOps Topologies 10 years on: what have we learned about silos, collaboration, and flow? - Matthew Skelton, Conflux
冗長なエラーログを削減し、スタックトレースを手に入れる / Reducing Verbose Error Logs and Obtaining Stack Traces
スライド内にリンクが複数あるため以下のSPA版で見ることを推奨します :) https://upamune.github.io/go-lunch-lt-2024-04 元ネタのブログ: https://tech.layerx.co.jp/entry/2023/11/29/132325 layerx.go #0: https://layerx.connpass.com/event/317228/
こんにちは、Apache Sparkのエンジニア（PySpark）になりつつあるディーネット山田です。 さて、今回はAWS Glueのジョブ開発時に重宝したCloudWatch LogsをAWS CLIから見る方法について紹介します。 はじめに 開発したAWS GlueジョブコードをAWS環境に移送して、検証する際に以下のような悩みがありました。 Glueジョブのコード内に埋め込んでいるデバッグ用の出力結果を、AWSマネジメントコンソールのCloudWatch Logsで見るのが面倒 ログ画面で更新ボタンと連打をすると、連打しすぎたことによるRate Limitエラー発生 そこで色々調べていると、AWS CLIからCloudWatch Logsのログに対して（Linuxで言うところの）tailする機能があったので、その紹介になります。 準備 事前準備としては、AWS CLIのインストールと
[アップデート] Amazon Data Firehose に CloudWatch Logs ログイベントからメッセージデータのみを抽出出来るオプションが追加されたので有効にしてみた | DevelopersIO
[アップデート] Amazon Data Firehose に CloudWatch Logs ログイベントからメッセージデータのみを抽出出来るオプションが追加されたので有効にしてみた いわさです。 今朝のアップデートで Kinesis Firehose、いや、Amazon Data Firehose で次のアップデートがアナウンスされました。 なんと、CloudWatch Logs + Firehose でログ転送を行う時に、オプションでログのソースレコードを抽出してくれるようになります。 通常特に指定しないと場合は CloudWatch Logs によって次のように構造化されたメッセージにソースメッセージを含める形になります。 { "messageType": "DATA_MESSAGE", "owner": "550669467088", "logGroup": "API-Gatew
![[アップデート] Amazon Data Firehose に CloudWatch Logs ログイベントからメッセージデータのみを抽出出来るオプションが追加されたので有効にしてみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/fa8842c4fe695534f961cebe27b798d31ddf7fb9/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F02%2Famazon-data-firehose-1200x630-1.png)
[アップデート]Amazon CloudWatch Logs は、フィルターパターンに正規表現が扱えるようになりました | DevelopersIO
[アップデート]Amazon CloudWatch Logs は、フィルターパターンに正規表現が扱えるようになりました はじめに Amazon CloudWatch Logsのフィルターパターン構文が正規表現をサポートするようになりました。 CloudWatch Logsでは、フィルターパターン構文を使ってログを検索したり、メトリクスフィルターを用いてメトリクスを抽出したり、サブスクリプションフィルターを利用して特定のログを他の宛先（Lambdaなど）へ送信することができます 今回のアップデートにより、フィルターパターン構文に正規表現を用いて、関連するログの検索とマッチングがより簡単になります。 サポートされている正規表現は、以下の通りです 英数字 文字 (A ～ Z または a ～ z) または数字 (0 ～ 9) のいずれかの文字です 記号文字 _、#、=、@、/、;、,、- !などは
New Amazon CloudWatch log class for infrequent access logs at a reduced price | Amazon Web Services
AWS News Blog New Amazon CloudWatch log class for infrequent access logs at a reduced price Amazon CloudWatch Logs announces today a new log class called Infrequent Access. This new log class offers a tailored set of capabilities at a lower cost for infrequently accessed logs, enabling customers to consolidate all their logs in one place in a cost-effective manner. As customers’ applications conti
The ability to record and see everything happening across your web applications is essential when building resilient and highly available systems. All of your events—from application logs to errors to user behavior—contain data that could be useful to you and your team. When you have a central place to access all this information, finding issues and their root causes becomes easier because you hav
困っていた内容 EC2 の内部ログを CloudWatch Logs に転送してログのリアルタイム監視を行っていますが、最近コストが増加しており、最適化したいと考えています。運用で見直すべきポイントを教えてください。 どう対応すればいいの？ CloudWatch Logs で課金される項目は以下の通りです。 これらのデータ量を削減することで、コストの削減が見込めます。 CloudWatch の料金ドキュメントより抜粋（※記事執筆時点の料金） 収集 (データの取り込み) 0.50USD/GB 保存 (アーカイブ) 0.03USD/GB 分析 (Logs Insights のクエリ) スキャンしたデータ 1 GB あたり 0.005USD 検出およびマスク (データ保護) スキャンされたデータ 1 GB あたり 0.12USD 分析 (Live Tail) 0.01 USD/分 以下
AWS Lambda introduces new controls to make it easier to search, filter, and aggregate Lambda function logs
AWS Lambda announces advanced logging controls that enable you to natively capture logs in JSON structured format, adjust log levels, and select the Amazon CloudWatch log group for your Lambda functions. You can now capture your Lambda logs in JSON structured format without having to bring your own logging libraries. JSON format allows logs to be structured as a series of key-value pairs, enabling
【CloudFormation】CloudWatch Logsが有効なAuto Scaling＆マルチAZのWordPress環境を構築 - APC 技術ブログ
目次 目次 はじめに 構成図 テンプレート トラブルシューティング まとめ はじめに こんにちは。クラウド事業部の西川です。 今回はAuto Scaling＆マルチAZ構成かつCloudWatch Logsによるログ収集が有効なWordPress環境を構築できるテンプレートをご紹介します。 CloudFormationを初めて触る方は前回の記事にスタックの作成方法も記載してありますので是非ご覧ください。 ↓前回の記事はこちら techblog.ap-com.co.jp また、私が構築していた際にAuto Scalingを設定したEC2がヘルスチェック失敗→ターミネート→新規起動→ヘルスチェック失敗という無限ループに陥った事象とその原因もご紹介します。 構成図 EC2 Auto Scalingは希望する台数2、最小台数2、最大サイズ4、CPU平均使用率70%を保つ設定ののターゲット追跡スケー
AWS FireLensでECSコンテナのログをS3とCloudWatch logsに出力する - NRIネットコムBlog
本記事は 【Advent Calendar 2023】 18日目の記事②です。 🎄 17日目 ▶▶ 18日目記事① ▶▶ 本記事 ▶▶ 19日目 🎅 こんにちは。梅原です。 ECSコンテナのログは通常CloudWatch logsに出力されます。長期保管用としてS3にも出力したいといったこともあると思います。複数サービスへ出力したいときに使うのがログドライバーの1つであるAWS FireLensです。 今回はnginxのログをAWS FireLensを使ってS3とCloudWatch logsにログを出力してみます。 fluent bitのロゴはhttps://github.com/fluent/fluent-bit/blob/master/fluentbit_logo.pngより引用 ECSコンテナのログについて AWS FireLensとは AWS FireLensを使うときの方法
[アップデート]Cloudwatch Logsに低頻度アクセス用のログクラスが追加されました。#AWSreInvent | DevelopersIO
はじめに こんにちはAWS事業本部コンサルティング部のみなみです。 明日からre:Inventが始まりますね！ 今年もラスベガスから最新のアップデートをお届けします! アップデートですが、Cloudwatch Logsに低頻度アクセス用のログクラスInfrequent Accessが追加されました! https://aws.amazon.com/jp/about-aws/whats-new/2023/11/amazon-cloudwatch-logs-infrequent-access-log-class/ 忙しい人のためのまとめ 新しいログクラスInfrequent Accessの利用により、これまで高いと感じられていたデータ転送料が半額に。 ただし、Infrequent Accessは機能の制限があり、サブスクリプションフィルターやメトリクスフィルターなどの多くの機能が使えません。 既
Amazon CloudWatch Logsの異常検出をCloudFormationで設定してみた #AWSreInvent | DevelopersIO
CloudWatch Logsにログの異常検出が追加されました。 [アップデート]CloudWatch Logsに異常検出とパターン分析の機能が3つ追加されました！ #AWSreInvent | DevelopersIO AWS が CloudWatch Logs の異常検出とパターン分析を発表 Amazon CloudWatch Logs now offers automated pattern analytics and anomaly detection | AWS News Blog Log anomaly detection - Amazon CloudWatch Logs ドキュメントのFAQによると、次のような現象があると、検出するようです。 ロググループで以前に見られなかったパターンのログイベントがある 既知のパターンに対する大きな変化がある 通常は一定の値セットを持つ動的
“Logs in Context + Infinite Tracing + カスタム属性”でNew RelicのObservabilityを爆上げする | PR TIMES 開発者ブログ
こんにちは、インフラチーム テックリードの櫻井です。 今回はアプリケーションモニタリングのために導入しているNew RelicにLogs in ContextとInfinite Tracingとカスタム属性を導入して、システムのObservabilityを向上させたことについて紹介したいと思います。 Observability（可観測性）とは まずObservability（可観測性）とは処理時間やエラーなどシステム内部の状態がどれだけ可視化されているかを示す指標です。 Observabilityが高ければボトルネック解消や障害発生時の迅速な対応が可能になり、より安定してサービスを運用することが可能になります。 New Relicについて New Relicは様々な機能を備えたObservability Platformです。 APMやBrowserでバックエンドやフロントエンドのパフォー
Amazon CloudWatch Logs announces Live Tail streaming CLI support - AWS
Amazon CloudWatch Logs announces Live Tail streaming CLI support We are excited to announce streaming CLI support for Amazon CloudWatch Logs Live Tail, making it possible to view, search and filter relevant log events in real-time. You can now view your logs interactively in real-time as they’re ingested via AWS CLI or programmatically within your own custom dashboards inside or outside of AWS. In
[小ネタ] CloudWatch Logsに保存されているログの総容量をAWS CLIからサクッと確認する | DevelopersIO
こんにちは、AWS事業本部の荒平(@0Air)です。 CloudWatch Logsにどのくらいのデータが保管されていて、現時点の総容量がどのくらいあるか把握したいと思ったことはありませんか？ 過去3回も思ってしまった自分のために、AWS CLI(CloudShell)を使ったCloudWatch Logsの容量を取得できるコマンドを残しておきます。 はじめに CloudWatch Logsは、Lambdaの実行ログ、API Gatewayのアクセスログ、ECSのタスクログ、CloudTrailの操作ログなどを一元的に管理できる便利なサービスです。 ただ、「CloudWatch Logsにログを置きっぱなしにするとコストが余計に掛かって勿体ない」という話はしばしば聞きます。 以下記事で紹介されている通り、圧縮率を考慮しない料金だとAmazon S3がやはり安いです。（圧縮率を考えると、更に
CloudWatch LogsをS3にエクスポートしてみた（EventBridge編） | DevelopersIO
こんにちは、シマです。 皆さんはCloudWatch LogsのログをS3にエクスポートしていますか？CloudWatchLogsのログ保管コストはS3と比較して高いです。そのため、長期のログ保管を考えたとき、CloudWatch LogsのログをS3に転送することでより安価にログを保管することが可能です。しかし、CloudWatch Logs標準の機能として定期的な自動実行でS3へ移行することはできないため、他の機能を組み合わせて実施する必要があります。 今回は、一番容易で安価に自動化が可能なEventBridgeを使って実装してみました。 構成 今回の構成は以下です。 EventBridgeからCloudWatch LogsのCreateExportTaskAPIをコールし、S3にエクスポートします。 設定の流れ S3バケット AWS管理コンソールのS3の画面から、「バケット作成」を押
Jailbreaking RabbitOS: Uncovering Secret Logs, and GPL Violations | Blog
Welcome to my ::'########::'##::::::::'#######:::'######::: :: ##.... ##: ##:::::::'##.... ##:'##... ##:: :: ##:::: ##: ##::::::: ##:::: ##: ##:::..::: :: ########:: ##::::::: ##:::: ##: ##::'####: :: ##.... ##: ##::::::: ##:::: ##: ##::: ##:: :: ##:::: ##: ##::::::: ##:::: ##: ##::: ##:: :: ########:: ########:. #######::. ######::: ::........:::........:::.......::::......:::: CTF writeups, prog
CloudFormationとTerraformをCloudWatch Logsのログデータエクスポート処理を実装して比較する
TOP全ての記事テックブログCloudFormationとTerraformをCloudWatch Logsのログデータエクスポート処理を実装して比較する はじめにこんにちは。株式会社divxのエンジニア倉橋です。 インフラをコード化する技術、いわゆるInfrastructure as Code(IaC)に関しては、現在様々な選択肢が存在します。ITエンジニアの方なら、CloudFormationやTerraformといった言葉を聞いたことがある人は少なくないかもしれません。 一方で、様々な選択肢が存在すると、どのツールを選択すべきかを判断するのが難しくなります。 そこで、今回はIaCツールで多く採用されるCloudFormationとTerraformに着目して、実際に実装を行いながら、どのような場合にどちらのツールを使用した方がいいのかを考えます。 本記事の流れとしては、まずはClou
Amazon Virtual Private Cloud (VPC) flow logs extends support for Amazon Elastic Container Service (ECS)
You can now turn on Amazon Virtual Private Cloud (VPC) Flow Logs for your Amazon Elastic Container Service (ECS) workloads running on both Amazon EC2 and AWS Fargate to export detailed telemetry information for all network flows. Amazon ECS helps you deploy and manage your containerized applications easily and efficiently. VPC Flow Logs enable you to capture and log information about your VPC netw
Amazon CloudWatch Logs のフィルターパターン構文で正規表現がサポートされるようになったことを発表いたします。これにより、関連するログの検索とマッチングがさらに簡単になります。現在、お客様はフィルターパターン構文を使用してログを検索したり、メトリクスフィルターを使用してメトリクスを抽出したり、サブスクリプションフィルターを使用して特定のログを他の送信先に送信したりしています。本日のリリースにより、お客様は柔軟で強力な正規表現をフィルターパターン内で使用し、ニーズに合わせてこれらの操作をさらにカスタマイズできるようになります。お客様は、各バリエーションに対応するために複数のフィルターを定義するのではなく、{ $.statusCode=%4[0-9]{2}% } などの正規表現を使用して複数の IP サブメットや HTTP ステータスコードを照合する 1 つのフィルターを定
Amazon CloudWatch Logs announces regular expression filter pattern syntax support
We are excited to announce regular expression support for Amazon CloudWatch Logs filter pattern syntax, making it easier to search and match relevant logs. Customers use filter pattern syntax today to search logs, extract metrics using metric filters, and send specific logs to other destinations with subscription filters. With today’s launch, customers will be able to further customize these opera
Amazon SESの送信イベントログをCloudWatch Logsに保存する設定をCDKv2でサクッとつくれるようにする | DevelopersIO
Amazon SESの送信イベントログをCloudWatch Logsに保存する設定をCDKv2でサクッとつくれるようにする ゲームソリューション部の新屋です。 SES検証中にメール送信のイベントログを取りたくなったので、もろもろの設定をCDKv2(TypeScript)で書いてみました。 実現すること 送信元ドメインをSESに登録し検証済みにする 配信・開封・ハードバウンス・苦情のメール送信イベントをトラッキングする メール送信イベントのログはSNS→Lambda→CloudWatchLogsに保存する ハードバウンス・苦情が発生したらアラームを発砲し、Slackに通知する 構成図 出来上がったコード ./bin/main.ts import { App, Stack, StackProps, Duration, RemovalPolicy, aws_logs as logs, aws_
Okta Customer Identity Cloud（Auth0）におけるCloudWatch Logsを活用したログ監視方法のご紹介 | TC3株式会社｜GIG INNOVATED.
Okta Customer Identity Cloud（Auth0）におけるCloudWatch Logsを活用したログ監視方法のご紹介 はじめに Okta Customer Identity Cloud（powered by Auth0）は、開発者が認証機能を実装するには非常に簡単なツールではありますが、Okta CICの構築において忘れられがちなのは運用後の設計です。 Auth0は認証に関するログや管理者の操作などのログをAuth0内で管理してくれますが（参考）、プランによってログの保管期間が決まっています（参考）。エンタープライズプランであっても30日が保存の上限期間となっているため、30日を超える期間ログを保存しておきたい場合にはLog Streaming機能を使うことで（Essentialプラン以上が必要です）、AWS S3に格納するなどのことが必要です。前回はその設定をTer
Amazon CloudWatch Logs に自動パターン分析と異常検出が提供されるようになりました | Amazon Web Services
Amazon Web Services ブログ Amazon CloudWatch Logs に自動パターン分析と異常検出が提供されるようになりました ログデータを検索して運用上またはビジネス上のインサイトを見つけることは、多くの場合、干し草の山から針を探すようなものです。通常、個々のログレコードを手動でフィルタリングして確認する必要があります。これを支援するために、Amazon CloudWatch は、数十年にわたる Amazon と AWS の運用データを使用してトレーニングされた高度な機械学習 (ML) アルゴリズムを使用して、ログレコードのパターンを自動的に認識してクラスター化し、注目すべきコンテンツと傾向を抽出し、異常を通知する新しい機能を追加しました。 具体的には、CloudWatch では以下の機能が提供されるようになりました。 [Logs Insights] ページの [
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CloudWatch Logs と S3 にかかる料金比較 | DevelopersIO
Dive into InnoDB from redo logs
CloudWatch LogsをAWS CLIから見る方法について - DENET 技術ブログ
Shipping Rails logs with Kamal and Vector
CloudWatch Logs のコストを最適化する方法を教えてください | DevelopersIO
Amazon CloudWatch Logs、フィルターパターン構文での正規表現のサポートを発表