あんどぅ on Twitter: "本番運用するといずれ誰もがたどり着く、公式ドキュメントには書かれてないログ管理の現実解が資料化されていてすばらしい そう、CloudWatch LogsにはDev環境 or ERRORの場合のみ飛ばすFluentdの設定をすることで利便性と料金のバランスをとるのである これは公式ドキュメントにすべき https://t.co/RE4FmPCpJX"
タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
マストドンと改正プロバイダ責任制限法 鯖管が知っておくべき義務と権利 - ashphy's commit logs
概要 Twitterをイーロン・マスク氏が買収したこと*1により、マストドンをはじめとする分散SNSへアカウントを作る動きが加速*2しています。現在はサーバの処理能力についての話題が多いですが、人が増えればTwitterで起きていたトラブルが分散SNSでも起きるようになると思われます。 そこでこの記事では、分散SNS上でなにかしらの権利侵害が起きた場合に、安心して問題に対処できるようになることを目的として、プロバイダ責任制限法のもとでサーバ管理者の義務と権利、取るべき対応を解説します。 対象の読者 個人でマストドン/Misskeyのサーバを運用しているサーバ管理者 この記事での前提 この記事では読みやすくなるように以下の前提を置いています。 分散SNSはマストドン マストドンの用語を使うだけでMisskeyやPleromaでも一緒です。 マストドンのサーバは日本国内に設置されている サーバ
チームの仕事はまわっていたけど、メンバーはそれぞれモヤモヤを抱えていた話──40名の大規模開発チームで1on1ログを公開してみた / opened 1on1 logs
PHPerKaigi 2022 スポンサーセッションのスライドです。 https://fortee.jp/phperkaigi-2022/proposal/5a260e4e-542d-4d82-849d-ef3d6cb7c854
Sansan の成長を支えるセキュリティログの活用と Amazon Elasticsearch Service / Amazon Elasticsearch Service empowers Sansan's business growth to create value and drive innovation through security logs management
■イベント AWS Security Roadshow Japan https://aws.amazon.com/jp/about-aws/events/2020/securityroadshow2020/ ■登壇概要 タイトル：Sansan の成長を支えるセキュリティログの活用と Amazon Elasticsearch Service 登壇者：CSIRT 松田 健 ▼Sansan Builders Blog https://buildersbox.corp-sansan.com/
CloudWatch Logsの料金が高い原因はコレだった。CloudTrailとの微妙な関係 - クラウドワークス エンジニアブログ
こんにちは。crowdworks.jp SREチームの田中（kangaechu）です。先日RubyKaigi2023に参加するため、松本に行きました。街を歩いていると目線の先に山が見えたり、温泉が近くにあったりなど松本の自然が近くにある感じがとてもよかったです。ちょっと住みたくなって不動産屋さんで家賃を眺めたりしておりました。 今回は小ネタとして、AWSのCloudWatchの料金が高くなったことで見つけたCloudTrailの設定についてです。 あなたのCloudWatch LogsとCloudTrailの料金、高くないですか？ 先日、AWSのコスト異常検知サービスのCost Anomaly Detection からCloudWatchとCloudTrailのコストが跳ね上がっているとの通知が来ました。 Cost Anomaly Detectionで通知されたCloudWatchとClo
AWS CLI V2でCloudWatch Logsのロググループをtailできるようになりました！ | DevelopersIO
AWS Lambdaの開発などでAmazon CloudWatch Logsに送っているログをリアルタイムにtailしたい時があります。 AWS CLI v2を利用すると、$ tail -f相当のことが$ aws logs tail --follow LOG-GROUP-NAME で出来るようになりました。 * feature:logs: Added the logs tail command. This tracks new additions to a CloudWatch Logs group printing updates as they become available. See #3729. https://github.com/aws/aws-cli/blob/v2/CHANGELOG.rst この機能を簡単に紹介します。 準備:AWS CLI v2をインストール なにはと
CloudWatch Logs へのログ転送と logrotate を併用すると、ログが欠損します。原因と対処法を教えてください | DevelopersIO
困っていた内容 CludWatch エージェントを使用して EC2 インスタンス内部のログファイルを CloudWatch Logs へ転送していますが、対象のログファイルに logrotate を適用してファイルをローテーションさせると、CloudWatch Logs へのログ転送が欠損する場合があります。この原因と対処法を教えてください。 どう対応すればいいの？ 考えられる原因 CloudWatch エージェントの設定ファイル内で転送対象のログファイル名を指定する file_path の記述が関連している可能性があります。 例えば設定ファイル内で以下のように記述していたとします。 CloudWatch エージェント設定ファイルの例： この場合、CloudWatch Logs に転送される対象のログファイルは「system.log」のみとなります。 つまり logrotate によりファ
GitHub - openobserve/openobserve: 🚀 10x easier, 🚀 140x lower storage cost, 🚀 high performance, 🚀 petabyte scale - Elasticsearch/Splunk/Datadog alternative for 🚀 (logs, metrics, traces, RUM, Error tracking, Session replay).
🚀 10x easier, 🚀 140x lower storage cost, 🚀 high performance, 🚀 petabyte scale - Elasticsearch/Splunk/Datadog alternative for 🚀 (logs, metrics, traces). OpenObserve (O2 for short) is a cloud-native observability platform built specifically for logs, metrics, traces, analytics, RUM (Real User Monitoring - Performance, Errors, Session Replay) designed to work at petabyte scale. It is straightfor
[アップデート] AWS WAFのログを直接CloudWatch LogsおよびS3に出力可能になりました | DevelopersIO
またまたドキュメントをながめていたところ、待望のアップデートを見つけたのでシェアします。 AWS WAFのWebACLトラフィックログをCloudwatch LogsまたはS3に直接出力することが可能になりました！ AWS WAFのWebACLトラフィックログ 従来は以下記事のようにKinesis Data Firehoseを介してCloudWatch LogsまたはS3に出力する必要がありました。 今回のアップデートでAWS WAFから直接CloudWatch Logs、S3に出力可能となりましたので控えめに言って最高のアップデートですね！ 注意点 CloudWatch Logsロググループ名およびS3バケット名はaws-waf-logs-から始まる名前であること Kinesis Data Firehoseも配信ストリーム名でも同じ制約がありましたが、CloudWatch Logs、S3
![[アップデート] AWS WAFのログを直接CloudWatch LogsおよびS3に出力可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a40565a486672c7039cb5c926f432f33218cbc0e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-waf.png)
[アップデート] Amazon CloudWatch Logs でリアルタイムでログを確認出来る Live Tail 機能が追加されました | DevelopersIO
[アップデート] Amazon CloudWatch Logs でリアルタイムでログを確認出来る Live Tail 機能が追加されました いわさです。 私は CloudWatch Logs でログの確認をよくするのですが、トラブルシューティングや開発中にログに張り付くようなタイミングだと既存の CloudWatch Logs のイベント機能や Logs Insights では表示の更新が必要でちょっと不便だなと思っていました。 本日のアップデートで CloudWatch Logs に新たに Live Tail という機能が登場しました。 CloudWatch Logs のログストリームに送信されたログをリアルタイムで確認することが出来ます。 フィルターなどをかけながらリアルタイム表示出来るので、なかなか良いですよこれは。 ただし、有料オプションなのでご注意ください。 この記事では実際に使
VPC Flow LogsをAthena + QuickSightで
分析してデータ転送料金の内訳を調査する 〜 実践的なコスト最適化の洞察 〜 - Uzabase for Engineers
こんにちは。ソーシャル経済メディア NewsPicksのSREチームで仕事をしている安藤です。 NewsPicks Advent Calendar 2023 の1日目ということで、日常の業務風景から軽いコスト最適化TIPSをご紹介します。 qiita.com AWSコストを最適化したいよぉ〜 NewsPicksはおかげさまでサービス10周年を迎え、ユーザー数も事業も伸びておりますが、 事業の成長やエンジニア組織の拡大に比例してAWSコストが増え、円安でさらに日本円での負担が増え、となると事業の利益率にも少なからず影響がでます。 私が所属するSREチームでは、「売上に対するAWSコストの割合は、規模が拡大するほど減っていくべき」という考えを持っており、 積極的にAWSサービスの使い方を見直して毎年コストを削っていくつもりで仕事をしています。 AWSが提唱するCloud Financial M
CloudWatch Logsにカスタムメトリクスを埋め込める、Embedded Metricsが追加されました！ | DevelopersIO
CloudWatch Logsにカスタムメトリクスを埋め込める、Embedded Metricsが追加されました！ オペレーション部 江口です。 CloudWatch Logsが、カスタムメトリクスを埋め込んで送ることができるフォーマット"Embedded Metrics Format"に対応しました。 https://aws.amazon.com/jp/about-aws/whats-new/2019/11/amazon-cloudwatch-launches-embedded-metric-format/ ログにこのフォーマットで情報を送ることで、カスタムメトリクスとしてCloudWatchで集計してくれるようになります。 これまでもCLIやAPIでカスタムメトリクスをPushすることは可能でしたし、CloudWatch Logsでフィルターを作成してマッチした文字列の数を数えるメトリ
Best practices for collecting and managing all of your multi-line logs
Looking for Datadog logos? You can find the logo assets on our press page.
[アップデート] CloudWatch Logs メトリクスフィルターでディメンションがサポートされました！ | DevelopersIO
[アップデート] CloudWatch Logs メトリクスフィルターでディメンションがサポートされました！ コンバンハ、千葉（幸）です。 CloudWatch Logs のメトリクスフィルターがディメンションをサポートしました！ Amazon CloudWatch Logs announces Dimension support for Metric Filters メトリクスフィルターで設定しているフィールドの値を、ディメンションとしてメトリクスとともにパブリッシュできるようになりました。（こう書くと何がなんやらですね。） 何ができるようになったのか イメージとしては以下です。 メトリクスフィルターにディメンションを設定できるようになり、メトリクスフィルターからパブリッシュされたメトリクスにディメンションを付与することができるようになりました。 特定の条件にマッチしたログが出力された際
CloudWatch Logs Insights でコンテナ単位のCPU・メモリ使用量などを確認する | DevelopersIO
ちゃだいん（@chazuke4649）です。 前回のブログの過程で、Container Insights画面以外でサクッとコンテナ単位のCPU・メモリ使用量を確認する方法があったので共有します。 今回紹介するのは２パターンです。 1.Container Insights画面から飛ぶ方法 2.サンプルクエリをそのまま実行する方法 前提 Container Insights画面ではみませんが、Container Insightsを有効化し、これによるカスタムメトリクスやログを収集する必要があります。 その他Container Insightsに関係する有用情報を下記ブログで紹介しているので、ぜひ見てみてください。 Container Insights でコンテナ単位のCPU・メモリ使用率を表示させる | DevelopersIO 1.Container Insights画面から飛ぶ方法 Clo
ローカルPCのDocker上でCloudWatch Logs Insights連携の簡易分析基盤(Elasticsearch)を使う - YOMON8.NET
AWSを運用しているCloudWatch Logsを分析することが良くあると思います。 数年前はCloudWatch Logsのファイルをダウンロードしてきて、分析していて面倒でしたが、 CloudWatch Logs Insights が出てきてそれもかなり楽になりました。 それでも毎回調べながらクエリを打つのは結構面倒なので、ログ分析基盤としてElasticsearchなどを利用する場合もあると思います。 この記事ではログ分析基盤が無い環境でも、ローカルのElasticsearchに流し込んで簡単に分析できる環境をDockerで整理したので書いていきます。 前提 全体像 リポジトリ 使い方 ダウンロードからのコンテナ起動 Jupyter Lab接続 パラメータ設定 AWS Profile CloudWatch Logs データロード Kibanaで分析 後片付け 前提 Docker d
CloudWatch Logs を文字列検知してログ内容をメールを送信してみた | DevelopersIO
コード ”関数コード” 画面では ランタイム を Python 3.6 にします。 コードは以下を貼り付けます。 from __future__ import print_function import json import boto3 from botocore.exceptions import ClientError import datetime import os print('Loading function') def lambda_handler(event, context): #print("Received event: " + json.dumps(event, indent=2)) message_orig = event['Records'][0]['Sns']['Message'] message = json.loads(message_orig) SNS
[アップデート] AWS Cloud9 がまた少し便利になりました (CloudWatch Logs、S3、インスタンスプロファイル) | DevelopersIO
コンバンハ、千葉（幸）です。 AWS Cloud9 で新たな機能が使用できるようになりました。 3 つ……ないし 2 つの機能が増えています。（どちらなんだ。） 何ができるようになったか 冒頭のブログを確認すると、以下のように説明されています。 AWS Cloud9 introduces 3 new features, including support for CloudWatch Logs, S3 and EC2 instance profiles. Cloud9 users can now list their log groups and view log streams instantly without leaving their IDE. In addition, the S3 integration has improved performance in VPCs and
![[アップデート] AWS Cloud9 がまた少し便利になりました (CloudWatch Logs、S3、インスタンスプロファイル) | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/800913af626da87d98d328099e75aa33be2f1ad1/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-cloud9.png)
GitHub - asg017/sqlite-lines: A SQLite extension for reading large files line-by-line (NDJSON, logs, txt, etc.)
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
「AWS Toolkit for VS Code」はオープンソースのプラグインで、統合開発環境（IDE）を利用した、AWSでのアプリケーション作成、デバッグ、デプロイが可能。AWS Explorerビューを通してAWSアカウントのリソースへのアクセスを容易にするほか、一連のAWSサービスとのインタラクションが可能で、リモートLambda関数を呼び出すなどのタスクを実行できる。 今回の「CloudWatch Logs」との統合により、VS Codeで作業するユーザーは、AWSリージョンのCloudWatchロググループとやり取りできるようになった。 選択したロググループのCloudWatch ログストリームをリストしてフィルタリングすると、最初のロード後に発生した古いデータまたは新しいイベントをロードすることで、ストリームにおける最新の1万行／1MBのログデータを表示できる。ログストリームエ
[アップデート]Amazon CloudWatch Logsでログデータに含まれた機密情報を保護出来るようになりました #reinvent | DevelopersIO
こんにちは、AWS事業本部@福岡オフィスのべこみん(@beco_minn)です。 遂にAWS re:Invent 2022が始まりましたね。それに合わせてたくさんのアップデートが出てきました。 本記事ではそのうちの一つ、「Amazon CloudWatch Logsでの転送中の機密データ保護」についてまとめます。 ざっくりまとめ Amazon CloudWatch Logsで転送中の機密情報が含まれたログデータを保護（マスク）することが出来るようになった HIPAAやGDPR、PCI-DSS、FedRAMPに則った保護が可能 監査結果をAmazon CloudWatch Logs、Amazon Kinesis Data Firehose、Amazon S3に送ることも可能 logs:Unmask権限を持つユーザーであればマスクを外した状態でログデータを確認することも可能 住所や運転免許証番
![[アップデート]Amazon CloudWatch Logsでログデータに含まれた機密情報を保護出来るようになりました #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/7a80ccfd3c405c137d762fe1db76c9e087e38d35/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F11%2Feyecatch_reinvent2022_new-service.png)
Level up your JavaScript browser logs with these console.log() tips
Level up your JavaScript browser logs with these console.log() tips I consider myself a backend software engineer - and as any backend engineer would attest, a large part of our life is spent monitoring, troubleshooting, and debugging our applications. The fundamental rule of software development is that software will fail - what separates new developers from experienced ones is how they plan for
How Netflix uses eBPF flow logs at scale for network insight
By Alok Tiagi, Hariharan Ananthakrishnan, Ivan Porto Carrero and Keerti Lakshminarayan Netflix has developed a network observability sidecar called Flow Exporter that uses eBPF tracepoints to capture TCP flows at near real time. At much less than 1% of CPU and memory on the instance, this highly performant sidecar provides flow data at scale for network insight. ChallengesThe cloud network infrast
[アップデート]CloudWatch Logsに異常検出とパターン分析の機能が3つ追加されました！ #AWSreInvent | DevelopersIO
はじめに CX事業本部の佐藤智樹です。 今回はCloudWatch Logsに異常検出とパターン分析のための機能が3つ追加されたため、それぞれを紹介いたします。CloudWatch Logsを見る際は基本開発中に正常動作しているかの確認や本番稼働中に不審な動作が起きているか確認する際の2パターンが多いかと思います。今回の機能は後者の通常とは異なるパターンが出た際に、障害箇所の特定や原因調査のために役立つ機能になるかと思います。 結論 今回のアップデートではCloudWatch Logs Insightsに1,2の機能が、CloudWatch Logsに3の機能が追加されたことだけ認識すれば大丈夫です。開発中や障害対応の訓練や発生時などに試してみて下さい。 パターンビュー 似たようなパターンのログを集約して何が、いつ発生しているかをまとめて表示し、エラー傾向の分析などができる 比較モード 検
![[アップデート]CloudWatch Logsに異常検出とパターン分析の機能が3つ追加されました！ #AWSreInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f099104aaa09df58f234f4f90b04b2f5cefbb675/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feyecatch_reinvent-2023-newservice-update.png)
Cloudwatch Logsの複数ロググループ参照に便利なツール「utern」 | DevelopersIO
Cloudwatch Logsの複数ロググループ参照に便利なツール「utern」を紹介します。 複数のLambdaのログ確認したい時とか、ECSによるマイクロサービスで、複数のCloudwatch Logsグループのログを確認する時に、困ってましたが、解決すると思います。 こんにちは、コカコーラ大好きカジです。 複数のLambdaのログ確認したい時とかECSによるマイクロサービスで、複数のCloudwatch Logsグループのログを確認する時に、aws cliでは面倒で困ってました。 同じ悩みを持った人いそうだなぁ...と思って調べたら解決していた人がいました。ありがとうございます。 uternとは Cloudwatch Logsのログ参照で以下のことが行えます。（MITライセンスです。） インストールが簡単 複数のロググループを指定可能 ロググループやログストリームごとに異なる色で表示
CloudWatch Logs の大量のログに対して『check-aws-cloudwatch-logs-insights』プラグインによる監視を入れる - 継続は力なり
タダです. システムの中で CloudWatch Logs に Apache のログを保存しているのですが,大量のログとなっています.このログの中から HTTP ステータスコードが4XX 系を抽出してエラー発生数をモニタリングしたい時に,「check-aws-cloudwatch-logs-insights」の Mackerel プラグインを使って検証してみたのでその内容をこの記事でまとめます. check-aws-cloudwatch-logs-insights とは プラグインの導入 監視の設定の実施 IAM ロールの設定 mackerel-agent のコンフィグ定義 アラートの設定確認 設定のよもやま話 まとめ 関連記事 check-aws-cloudwatch-logs-insights とは Mackerel の「check-aws-cloudwatch-logs-insigh
cloudwatch-logs-aggregator で Amazon CloudWatch Logs のログのメトリック化を実践する - Mackerel お知らせ #mackerelio
こんにちは、Mackerel 開発チームアプリケーションエンジニアの id:susisu です。 この記事では cloudwatch-logs-aggregator を使って、Amazon CloudWatch Logs に出力されたアプリケーションのログを集計して Mackerel にメトリックとして投稿し、監視・可視化を行えるようになるまでの過程を、実際の使用例と共に紹介します。 以下のようなアプリケーションのログからメトリックが生成され、Mackerel に投稿されている状態がゴールです。 { "level": "info", "msg": "query complete", "bytes_scanned": 51828, "records_scanned": 246, "records_matched": 120, ... } cloudwatch-logs-aggregator
Amazon Athena,Amazon CloudWatch Logs Insightsの使い分けについて考えてみる | DevelopersIO
どうも、森です。 AWSにはログを分析するための方法が様々ありますが、Athena,CloudWatch Logs Insightsをどう使い分ければ良いのか考える機会がありましたので執筆したいと思います。果たして結論は出るのか？？？ 各サービスについて どちらもサーバーレスな環境で、インフラストラクチャの設定や管理は不要です。 Athena,CloudWatch Logs Insightsについてドキュメントを参考にし、簡単にまとめてみました。 Amazon Athena は、標準 SQL を使用して Amazon Simple Storage Service (Amazon S3) でのデータの直接分析を簡易化するインタラクティブなクエリサービスです。AWS マネジメントコンソールでいくつかアクションを実行するだけで、Athena にデータの保存先の Amazon S3 を設定し、標準
AWS Security Hubのセキュリティ基準の検知結果を分析してみたくてCloudWatch Logsに出力してInsightで見てみた | DevelopersIO
こんにちは、臼田です。 みなさん、Security HubでAWS環境のセキュリティチェックしてますか？(挨拶 今回は長いタイトルですが、Security HubのログをCloudWatch Logsに入れる話と、入れた後分析してみる話です。 背景 AWS Security HubのAWS基礎セキュリティベストプラクティスをよく使っていますが、たくさんのAWSアカウントを集約して運用しているとそのイベント記録の傾向を確認したいなーと感じました。 検知されるFindingsには、そのイベントが初めて検出されたCreatedAtあるいはFirstObservedAt、更新されたUpdatedAtあるいはLastObservedAtが記録されていますが、イベントの変更経過についてはトラッキングできません。そのため、イベント発生毎に記録をする必要があります。 イベント自体はEventBridgeを
CloudWatch LogsのログデータをKinesis Data Firehose経由でS3に出力する | DevelopersIO
CloudWatch Logsのデータを、Kinesis Data Firehose経由でS3に出力する手順です。 Lambda Functionなどで作り込みを行わず、CloudWatch LogsのログデータをS3に出力するには、Kinesis Data Firehoseが利用できます。 本エントリでは、Kinesis Data Firehoseを介して、CloudWatch LogsのデータをS3へ出力する設定を紹介しています。CloudWatch LogsからKinesis Data Firehoseへ出力するには、CloudWatch Logsのサブスクリプションフィルタの設定が必要になりますが、こちらの設定はマネジメントコンソールでは行えないので、関連する作業含めAWS CLIを利用して実施しています。さいごに、AWS CLIで構築した同様の構成を定義するCFnテンプレートも添
GitHub - roma-glushko/tango: Tango is a command-line tool for analyzing access logs 💃
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
[アップデート]AWS Toolkit for VS CodeでCloudWatch Logsの直近ログデータを表示できるようになりました！ | DevelopersIO
AWS Toolkit for VS Codeに、CloudWatch Logsの直近ログデータを表示できる機能が追加されました！ Amazon CloudWatch Logs features now available in the AWS Toolkit for Visual Studio Code VSCodeでLambdaのプログラムを書きつつ、Lambdaをデプロイして実行。CloudWatch Logsで実行結果を確認。なんて、場面で便利に使えるんじゃないかと思います。 こんな感じでVSCodeの画面でCloudWatch Logsのログを表示できます。さっそく試してみました！ 環境 VERSION Visual Studio Code: 1.48.1 AWS Toolkit for VS Code: 1.13.0 前提 本ブログではAWS Toolkitのインストール、AW
![[アップデート]AWS Toolkit for VS CodeでCloudWatch Logsの直近ログデータを表示できるようになりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/611914e4c074abe947efa5c820fc1646e6c60a0a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F06%2Fvscode-2020-eyecatch-1200x630-1.png)
Mackerel cloudwatch logs aggregatorを使ってログの監視をする｜Kurashicom Tech Blog
こんにちは、テクノロジーグループの矢田です。 我が家には猫が一匹おりまして、毎日のように窓から外を眺めて鳥が飛んでいるのを監視しています。今日も捗ってるな〜と思いながらそんな猫を眺めて仕事しているのですが、今日は監視の話をしたいと思います。 クラシコムでは「北欧、暮らしの道具店」の監視を行うためにMackerelを利用しています。 MackerelではサーバーのCPU・メモリなどのメトリック監視や外形監視、サービスメトリックを送っての監視など多方からサービスの状態を監視することができます。 今回は先日α版が公開されたMackerelのcloudwatch logs aggregatorについて紹介したいと思います。 このモジュールではアプリケーションからAWS CloudWatch Logsに吐き出したログをメトリック化しMackerelに送ることでアプリケーションログをメトリックとして監
「技術者を育てる」ことを目的とした、エンジニアを目指す学生のための日本最大のオンラインカンファレンス「技育祭」。ここで株式会社 LIFULL（ライフル）の相原氏が「趣味と仕事の違い、 現場で求められる アプリケーションの可観測性」をテーマに登壇。まずは、仕事と趣味のアプリケーションの違いと、可観測性の基本的な3つのシグナルのうち2つの「Logs」「Metrics」について紹介します。 自己紹介と目次 相原魁氏：今日は「趣味と仕事の違い、現場で求められるアプリケーションの可観測性」について、僕の自室からお送りしようと思います。株式会社LIFULLの相原です。よろしくお願いします。 （スライドを示して）今日の目次ですが、「だいたい趣味のアプリケーションってこういうことをやりがちだよね」みたいな話をした後に、では仕事だとどういうことが求められるのか。その上で、どういう実装をすると可観測性を満たせ
CloudWatch Logs Insightsを利用し、VPCフローログで送信元/先をIPやCIDRに絞り込み分析してみた | DevelopersIO
はじめに Amazon CloudWatch Logs Insightsを利用して、送信元や送信先を特定のIPアドレスやCIDRに絞り込み、VPCフローログを分析しました。 VPCフローログは、VPC内のネットワークインターフェースを通過するIPトラフィックの情報をキャプチャする機能です。 VPCフローログは、CloudWatch LogsやS3に保存することができ、またKinesis Data Firehoseに送信することも可能です。 VPCフローログの作成と保存方法は、下記を参考にして下さい。 この記事では、サブネットに適用したルートテーブルのルーティング設定のうち、不要なルーティング設定かどうか判断するため、VPCフローログをCloudWatch Logs Insightsで分析する機会がありましたので、具体的なクエリを紹介します。 1つ送信元IPから１つの送信先IP 単一の送信元
上記の基本的なクエリ以外にも、一般関数や文字列関数などが使用できます。今回の記事では、上記7クエリの紹介に絞ってサンプルコードを使用して実際にCloudWatch Logsからデータを抽出してみます。 事前準備 事前準備としてLambdaで何件かログを出力し、例として作成したログを抽出することで具体的な使用方法を確認します。 Lambdaは「関数の作成」から「log-test」という関数名を指定し、ランタイムは「Node.js 12.x」でアクセス権限は特に変更せず「関数の作成」ボタンでLambdaを作成してください。 次に作成画面から「テスト」を押下してテスト設定を表示させます。イベント名を適当に「testEvent」と設定し「作成」を押下します。 コードを以下のように修正します。以下のコードをベースにクエリを試していきます。ログ出力はJSON.stringifyを使用してJSON文字列
GitHub - hyperdxio/hyperdx: Resolve production issues, fast. An open source observability platform unifying session replays, logs, metrics, traces and errors powered by Clickhouse and OpenTelemetry.
HyperDX helps engineers quickly figure out why production is broken by centralizing and correlating logs, metrics, traces, exceptions and session replays in one place. An open source and developer-friendly alternative to Datadog and New Relic. Documentation • Chat on Discord • Live Demo • Bug Reports • Contributing 🕵️ Correlate end to end, go from browser session replay to logs and traces in just
S3とCloudWatch Logsの見直しから始めるコスト削減 / Cost saving S3 and CloudWatch Logs
S3とCloudWatch Logsの見直しから始めるコスト削減 / Cost saving S3 and CloudWatch Logs
CloudWatch Logs Insights を使って Mackerel 上にアプリケーションのメトリック監視環境を手早く構築する - Object.create(null)
この記事は Mackerel Advent Calendar 2021 の 15 日目の記事です. 昨日は id:kazeburo さんの mkr plugin install 時の403 API rate limit exceededエラーを回避する方法 でした. こんにちは id:susisu です. 普段は Mackerel 開発チームでアプリケーションエンジニアをしています. 先日 mackerelio-labs にて cloudwatch-logs-aggregator という Terraform モジュールをひっそりと公開しました. github.com この記事では, このモジュールについてと, これを使って AWS 環境で動作するアプリケーションのメトリックの監視環境を手早く Mackerel 上に構築する方法を紹介します. アプリケーションのメトリックについて (ここでア
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「AWS Toolkit for VS Code」で「CloudWatch Logs」が利用可能に
Observabilityをはじめよう！(後編) 〜Metrics/Logs/Tracesチュートリアル〜 | さくらのナレッジ
メンテナンス担当者が変わるからこそ必要な“可観測性” 基本的なシグナル「Logs」「Metrics」の特徴と適切な使いかた
CloudWatch Logs Insightsでログを調査する前に読む記事 | DevelopersIO
pc.watch.impress.co.jp
ejje.weblio.jp
juuyousei.jugem.jp
forbesjapan.com
mentalcare.hatenablog.jp
www.cnn.co.jp