AWSでの法令に則ったログ設計及び実装/分析 - Adwaysエンジニアブログ
エージェンシー事業でリードアプリケーションエンジニアを行なっている大窄 直樹 (おおさこ)です. AWSのログ, サーバーのログってたくさん種類があって難しいですよね... 同じようなログがたくさんあるので, 何を取れば良いのかとか どのくらいの期間保持すれば良いのかとか またその後の, ログの実装や, 分析方法する方法も難しいですよね... 今回AWSに構築した商用アプリケーションのログを整備する機会があったので, このことについて書こうかなと思います. 概要 本題に入る前の準備 今回ログ実装するアーキテクチャ ログに関する法令 ログの取得箇所 設計 保管するログの決定 インフラのログ OSのログ アプリケーションのログ ログの保管 保管場所について 保管期間について バケット構造 アプリケーション, OSのログの転送 実装 アプリケーション, OSのログをfluentbitを用いてS3
AWS 導入事例：株式会社フロム・ソフトウェア | AWS
アクション RPG『ELDEN RING』のオンラインサービスを AWS のマネージドサービスで構築 ワールドワイドで最大 150 万同時接続のスケールに対応 ゲーム機向けアクションゲームの企画・開発を手がける株式会社フロム・ソフトウェア。同社は 2012 年からゲームソフトのインフラ基盤としてアマゾン ウェブ サービス（AWS）を利用しています。2022 年 2 月にリリースした『ELDEN RING（エルデンリング）』では、バックエンドにマネージドサービスの Amazon Elastic Kubernetes Service（Amazon EKS）や Amazon Kinesis Data Firehose を採用。スピーディな構築を実現し、ゲーム発売直後の最大 150 万同時接続に対しても迅速なスケールアウトで乗り切りました。リリース後はわずか 4 名の自社要員で安定した運用を継続し
SAP、ZabbixからOffice365 SMTPサーバ経由でメールを送信するには | BeeX Technical Blog
2024.04.01 GlueJobからRedshiftServerlessに直接インサートするサンプルデータパイプラインのご紹介
AWSを使って学ぶ 監視設計 - tenbo07 - BOOTH
2020年2月29日(土)の技術書典8で頒布予定だった「AWSを使って学ぶ 監視設計」になります。 ■サークル「チームになったササキです」 https://techbookfest.org/event/tbf08/circle/5768511573983232 残念ながら技術書典8は中止となってしまいましたが、こちらで販売します。 もう少し詳細な内容について、こちらのブログに記載しています。 お時間あればご確認ください http://tenbo07.hatenablog.com/entry/2020/03/07/004743 ■サンプルコードについて 以下で公開しています https://github.com/tenbo07/monitoring-design-book-samples この本について主に監視の設計手法を紹介する本です。 この本では、「モニタリング(監視)」 というテーマに
ターミナルから直感的にCloudWatch Logsを検索できるawslogsコマンドの紹介 | DevelopersIO
はじめに こんにちは、中山です。 先日AWS Summit Tokyo 2016に参加してきました。セッションを聴講している際にスピーカーの方が面白そうなツールを紹介されていました。awslogsというPython製のツールです。これはAmazon CloudWatch Logsをターミナルから直感的に検索するためのツールです。早速使用してみたのでレポートします。 検証環境 awslogsコマンドを利用するためにCloudWatch Logsの設定が必要です。検証環境構築用のコードをGitHubに上げておきました。以下のコマンドで実行可能です。 $ git clone https://github.com/knakayama/awslogs-demo.git $ cd awslogs-demo $ ssh-keygen -f site_key -N '' $ terraform apply
Manifold has joined Snyk | Snyk
On January 1, 2021, Manifold was acquired by Snyk, a company focused on Developer-first Cloud Native Application Security. Snyk’s cloud native application security platform empowers developers to build security seamlessly into their development process – across code, open source, containers and infrastructure as code. If you are a developer looking to solve security issues earlier in a dev-friendl
リアルタイムアクセスログ分析基盤をAWSに構築した話 (JAWS UG BigData Branch)
This document provides tips and recommendations for using AWS services for data analytics. It discusses using DynamoDB DAX for caching, Kinesis for streaming data, S3 for storage, and Redshift for analytics. It also recommends visualizing data using services like Elasticsearch, Kibana, QuickSight, and open source BI tools. The document concludes by offering tips on join-less analytics and time-sli
定期的にSQLを実行した結果をDatadogに送信するcyqldogというツールを作った - クラウドワークス エンジニアブログ
日々Datadogのダッシュボードを眺めながらニヤニヤしている @minamijoyo です。 定期的にSQLを実行した結果をDatadog送信するcyqldogというツールを作ったので紹介します。 はじめに クラウドワークスでは日々のデータ分析にAWSのRedshiftを利用しています。 Redshiftはサービスの主要なKPI集計から、ちょっとしたアドホックな分析まで、 利用者はエンジニアだけにとどまらず、プロダクトオーナーやマーケティングのメンバーも含め広く利用されており、 ひとたびシステム障害などでRedshiftが利用できないと業務に大きな影響が出ます。 そんなRedshiftを安定稼働させるためには、日々の監視が大切です。 AWSで監視といえば、まずはCloudWatchが思い浮かびますが、RedshiftのCPU使用率やディスク使用率などの基本的なメトリクスであれば取得できる
Announcement: ELB stickiness updates to support Feb 2020 Chromium CORs changes
You have been redirected here because the page you are trying to access has been archived. AWS re:Post is a cloud knowledge service launched at re:Invent 2021. We've migrated selected questions and answers from Forums to AWS re:Post. The thread you are trying to access has outdated guidance, hence we have archived it. If you would like up-to-date guidance, then share your question via AWS re:Post.
Amazon CloudWatch introduces High-Resolution Custom Metrics and Alarms
We are excited to announce that CloudWatch now supports High-Resolution Custom Metrics and Alarms, enabling you to monitor custom applications and infrastructure in near real-time, down to per-second resolution. Using the existing PutMetricData API, you can now publish Custom Metrics down to 1-second resolution. This gives you more immediate visibility and greater granularity into the state and pe
Amazon Athena adds API/CLI, AWS SDK support, and audit logging with AWS CloudTrail
You can now run queries on Amazon Athena via the REST API using the AWS SDK available in Java, .NET, Node.js, PHP, Python, Ruby, Go, and C++. Please visit the API reference and CLI guide to learn more. To help you get started, you can use new code samples that illustrate running & stopping a query, creating, listing and deleting saved queries, and listing your query execution history. With the cur
オートスケール環境におけるFluentdのログ重複・欠損対策 - Qiita
この記事は Akatsuki Advent Calendar 2016 の15日目です。 はじめに 今やログ収集ソフトウェアのデファクトスタンダードとなったFluentdですが、オートスケール環境においては思わぬログの重複や欠損が発生する可能性があります。今回は私の所属するプロジェクトで行ったログ重複・欠損対策について紹介したいと思います。 前提 今回前提とするシステムは下図のような構成になっています。 ELB配下にオートスケーリンググループに属するEC2インスタンスのアプリサーバが複数台あり、各インスタンス上では Rails と Fluentd (sender) が動作しています。各アプリサーバから出力されたログは Fluentd (aggregator) により集約され、最終的に DB に保存されます。 Fluentd を利用したログ収集の構成としては一般的なものかと思います。 (バッ
インスタンスメタデータを使用して EC2 インスタンスを管理する - Amazon Elastic Compute Cloud
インスタンスメタデータは、インスタンスに関するデータで、実行中のインスタンスを設定または管理するために使用します。インスタンスメタデータには、以下が含まれます。 インスタンスメタデータのプロパティ インスタンスメタデータのプロパティは、ホスト名、イベント、およびセキュリティグループなどでカテゴリ分けされます。 動的データ 動的データは、インスタンスアイデンティティドキュメントなど、インスタンスの起動時に生成されるメタデータです。詳細については、「動的データのカテゴリ」を参照してください。 ユーザーデータ インスタンスメタデータを使用して、インスタンスの起動時に指定したユーザーデータにアクセスすることもできます。例えば、インスタンスを設定するためにパラメータを指定したり、単純なスクリプトを含めたりすることができます。汎用 AMI を構築し、ユーザーデータを使用して起動時に提供された設定ファイ
New Amazon CloudFront Cache Statistics, Popular Objects Report, and More Timely Access Logs
You can now view detailed Cache Statistics Reports and the list of your most Popular Objects delivered by Amazon CloudFront. These reports are available by visiting the Amazon CloudFront Reports & Analytics dashboard in the AWS Management Console. These new reports complement the Usage Charts that are already available to track trends in your usage and the near real-time operational metrics availa
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Logstorage AWS 対応 - Amazon RDS 対応 -
Surfing on Lava
AWS Monitoring Primer
Debug Tool - AWS X-Ray - AWS
Application Performance | Google Cloud
Amazon CloudWatch（リソースとアプリケーションの監視と管理）| AWS