バッチプログラムの運用と監視について検討しよう | メルカリエンジニアリング
こんにちは。メルペイでバックエンドソフトウェアエンジニアをしている id:koemu です。 バッチプログラムのお話、今回は運用・監視についてお話したいと思います。当社はすべての業務が24時間行われていますので、システムがオンラインのときに動作するバッチプログラムについてのみ議論します。 過去の記事はこちらにあります。 運用に備えて バッチプログラムの運用について、「プリモーテム」「実行管理」そして「ログ管理」の3点について述べていきます。 プリモーテム ポストモーテムという言葉を聞いたことがある方はいらっしゃるかと思います。ポストモーテムとは、GoogleのSRE本の15章*1によれば、障害などの失敗を振り返り、今後に活かすプロセスの総称と捉えることができます。 さて、プリモーテム(プリモータム)とは何でしょうか。この言葉は、私が最近読んだThe Manager’s Path*2*3で使
Microservices時代の監視設計 - An Epicurean
前のエントリの続きです。思ってた以上に反響があったので、主語を控えることも検討しましたがこのまま行きます。前回同様、すでにMicroservicesでバリバリやっている人は読む必要ないと思います。 前回の最後にMicroservices時代になると、開発者がこれまで以上に監視に取り組んでいく必要があると言う話を書きました。多少重複するところもありますが、その辺りから話を始めます。 モノリシック世界観での監視 アプリケーション監視の浸透 Microservices時代の監視設計 開発者自身が監視する どう監視するか メトリクス設計 The Four Golden Signals USEメソッド REDメソッド USEとREDの補完関係 The Four Golden Signalsの素晴らしさ 例: ある認証コンポーネントの監視設計 まとめ モノリシック世界観での監視 Webサービスの構成が
オブザーバビリティ（可観測性）がなぜ必要だと考えるのか - YAMAGUCHI::weblog
はじめに こんにちは、Stackdriver担当者です。本記事は完全に個人の意見です。（念押し） GCP的に担当製品がわかりやすいのでStackdriverの担当と書いてますが、仕事での担当領域的には「オブザーバビリティ (Observability、可観測性)」 です。この「オブザーバビリティ」という言葉が近年SREの文脈で語られることが増え、また今年に入って「入門 監視 ("Practical Monitoring" の日本語訳)」が刊行されたことで、日本でもより多く耳にするようになりました。 SRE サイトリライアビリティエンジニアリング ―Googleの信頼性を支えるエンジニアリングチーム オライリージャパンAmazon 入門 監視 ―モダンなモニタリングのためのデザインパターン 作者:Mike JulianオライリージャパンAmazon その「オブザーバビリティ」がなぜ必要だと考
Lambda 関数のスケーリングについて - AWS Lambda
同時実行数とは、AWS Lambda 関数が同時に処理できる未完了のリクエストの数のことです。Lambda は、同時実行リクエストごとに、実行環境の個別のインスタンスをプロビジョニングします。関数が受け取るリクエストが増えると、Lambda が実行環境数のスケーリングを自動的に処理し、これはアカウントの同時実行上限に達するまで行われます。Lambda はアカウントに対し、1 つの AWS リージョン内のすべての関数全体での合計数 1,000 を上限とした同時実行をデフォルトで提供しています。特定のアカウントニーズをサポートするため、クォータの引き上げをリクエストしたり、関数レベルでの同時実行コントロールを設定したりして、重要な関数でスロットリングが発生しないようにすることができます。 このトピックでは、Lambda での同時実行数と関数スケーリングについて説明します。このトピックを読み終え
Lambda での CloudWatch メトリクスの使用 - AWS Lambda
AWS Lambda 関数がイベントの処理を終了すると、Lambda は呼び出しに関するメトリクスを Amazon CloudWatch に自動的に送信します。関数メトリクスを受信するために実行ロールに追加のアクセス許可を付与する必要はありません。また、これらのメトリクスには追加料金はかかりません。 Lambda 関数には、さまざまなタイプのメトリクスが関連付けられています。これには、呼び出しメトリクス、パフォーマンスメトリクス、同時実行メトリクス、非同期呼び出しメトリクス、イベントソースマッピングメトリクスなどがあります。詳細については、「Lambda 関数のメトリクスのタイプ」を参照してください。 CloudWatch コンソールでは、これらのメトリクスを表示し、メトリクスを使用してグラフとダッシュボードを作成できます。使用率、パフォーマンス、エラー率の変化に対応するようにアラームを設
AWS CloudWatchのカスタムメトリクスをDatadogで確認【cloudpack大阪BLOG】 | iret.media
Datadogとは、監視のSaaSで、様々な形式でグラフ表示できたりします。 タグなどでグルーピングもできるので、簡単なデータ解析にも役立ちます。 AWSとの親和性も高く、簡単な設定でCloudWatchのデータを監視することができちゃいます。 そして、CloudWatchでは最大2週間しかデータを保持しませんが、 Datadogに登録することでより以前のデータをみることもできます。 詳しくは本家サイトで。 今回は、CloudWatchのカスタムメトリクスをDatadogで表示してみようと思います。 以下、手順です。 カスタムメトリクスを設定する メモリ監視を追加してみます。 導入環境はAmazon Linuxで。 $ uname -a Linux ip-10-0-0-194 4.1.10-17.31.amzn1.x86_64 #1 SMP Sat Oct 24 01:31:37 UTC
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - newsapps/awsmonitors: Cron scripts that report metric data to Amazon CloudWatch
fluentdでつくる監視系 - Qiita