AWSサーバーレス環境でのロギング - Qiita
はじめに 最近、プロジェクトで運用回りの設計を行う機会があったので、その際に学習したことをまとめました。AWSのLambdaなどを使っている方でロギングに興味があるけど、まだ良く理解できていないという方のためになれば幸いです。ここではサーバレス環境でのロギングの基本について解説しています。 また、監視に関した記事も投稿していますので、そちらも興味がございましたら一読下さい。 ログ戦略 マイクロサービスの場合、ログ戦略がとても重要になってきます。 マイクロサービスは複数のサービスから構成されているため、ログ戦略を間違えると調査が困難になり得るからです。ただし、AWSの場合は何でもかんでもログを出力するのは間違いです。標準的なログ出力機能を備えているサービスも多いため、重複が多くなりコスト増につながります。つまり、適切なログのみを出力する必要があります。 Lambdaのログ戦略 開発環境と本番
MySQLのbinlogとredo logについて - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? MySQLにbinlogとredo logの二つの重要なログシステムがあります。本文では、この二つのログの仕組みについて説明します。 #１．基本知識 MySQLは、SQLの解析と実行する機能を実現するServer層とデータアクセス機能を提供するストレージエンジン層で構成されています。ストレージエンジンには、MyISAM、InnoDB、Memoryなどが存在します。 binlogは、Server層が出力するログです。redo logは、InnoDBエンジンが出力するログです。二つのログは、ともにDBテーブル更新時に出力されます。 ディスク
Aurora MySQL の Audit Log の有効化 - Qiita
なお、 デフォルトのパラメータグループでは設定の変更が行えない ため、注意をしてください。（Audit Log を有効にしたい場合は、その Aurora クラスタ固有のパラメータグループを割り当てる必要があります。） Aurora クラスターのログ出力定義の変更 ログのエクスポート画面で「監査ログ」をチェックして保存をします。 この作業により自動的に CloudWatch Logs のイベントストリームが作成され、Audit Log が出力されるようになります。 設定の拡張 パラメータグループのうち server_audit_incl_users server_audit_excl_users を設定することで、どのユーザーの Audit Log を出力するかを制御することができます。 それぞれの設定範囲が重複した場合どちらが優先されるかは、公式ドキュメントに記載されています。以下はその内
【初心者】Amazon VPC フローログを使ってみる - Qiita
1. 目的 AWSのセキュリティ関連サービスの復習をしている。VPCフローログについて、今さらやってみるのも…と思ったが、定期的に新機能も追加されているようなので、改めて動作確認してみる。 ちょうど2021/3/3に、VPCフローログで取得できるフィールドが追加されたとのこと。せっかくなのでそれらを含めた確認を行う。 DevelopersIOの記事「[アップデート] VPC フローログに AWS サービス名および通信経路が表示されるようになりました！」 AWS公式「Amazon VPC フローログに AWS のサービス名である Traffic Path と Flow Direction を反映」 2. やったこと 検証用のVPCとインスタンスを作成する。 VPC全体に対して、VPCフローログの取得設定を行う。 試験トラフィックを発生させ、VPCフローログにどのように記録されるか確認する。
AWS FireLensってなんだ？ - Qiita
What's？ AWS FireLensについて、知っておきたかったので軽く調べてみました、と。 AWS FireLensとは？ AWS FireLensとは、2019年9月に発表された、Amazon ECSで使用できるログルーターのことです。 Firelens の発表 – コンテナログの新たな管理方法 タスク定義の中に含めてサイドカーとして配置しつつ、他のコンテナからはログドライバーとして使用します。 カスタムログルーティング AWS FireLensからは、Amazon CloudWatch LogsまたはAmazon Kinesis Data Streams、Amazon Kinesis Data Firehose、そして別のFluentdやFluent Bitに転送することができます。 以下のタスク定義サンプルは、Firelens の発表 – コンテナログの新たな管理方法からの抜粋
CloudWatch Logs Agent の挙動について調べたことのまとめ - Qiita
公式ドキュメントに記述されているFAQの翻訳みたいになってしまいましたが、 CloudWatch Logsを実際使うに当たって、CloudWatch Logs Agent の挙動について調べたことのまとめです。 設定ファイルについてはこっちにまとめました。 設定ファイルを変更したので、設定を反映させたい 設定ファイル/var/awslogs/etc/awslogs.confに以下の記述がありました。 NOTE: A running agent must be stopped and restarted for configuration changes to take effect. configを再読み込みさせる場合は、Agentのrestartが必要そうです。 condrestartとかは無いみたいですね。 ログがローテーションした場合はどうなるの？ ファイルのローテーションについては
logrageではRails.loggerのログ出力がJSON形式にならない問題 - Qiita
はじめに RailsログをJSON形式にしたいだけなんですが、解決方法が意外とめんどくさかったので、ググってたどり着いた誰かのためにメモを残しておきます。 「Railsログ JSON」で雑にググるとlogrageというgemをいれるとよさそうな感じです。 https://github.com/roidrage/lograge gem入れるだけでバーンといいかんじのJSONになることを期待したのですが、以下の記事に書いてあるとおり、このgemはコントローラのアクセスログや例外しかJSON形式で出ません。 https://qiita.com/amanekey/items/b921ef73d871dac299eb おもむろに Rails.logger.info("foo") とかしてもJSONにならなくてそのまま出力されちゃう。 つまりこんなかんじ。 {"method":"GET","path"
API Gateway 開発者に読んでほしい、意味がわかると便利な実行ログ - Qiita
API Gateway (REST API) では、開発やトラシューに役立つ実行ログ (Execution Logs) を出力することができます。 AWS サポートに問い合わせる際にも、この実行ログがあるとスムーズです。 実行ログは、ステージから設定できます。 設定後、API Gateway にリクエストを投げると、CloudWatch Logs に出力されます。 ロググループ名は、API-Gateway-Execution-Logs_<API ID>/<ステージ名> です。 こちらの実行ログの内容を解説していきます。 リクエスト/レスポンス API Gateway に Postman から以下のようにリクエストを投げます。 パスパラメータ groupId=111、クエリパラメータ userId=222、本文に name=hoge を指定しています。 API Gateway はこのリクエス
Instabugの導入について - Qiita
概要 InstabugというiOS、AndroidアプリのユーザーフィードバックをサポートしてくれるSDKの導入方法についてです 今回はiOSでの導入方法をまとめました。 Instabugとは SDKのインストールと少しのコードだけで、アプリから問い合わせ機能を実装することができます。 Instabugでできること 運営への問い合わせ(チャット形式: 有料) バグ報告 改善提案 スクリーンショット、画像の添付 スクリーンショットに書き込み 動画の撮影 また、Webサイトのダッシュボードも使いやすいです。 有料プランにはなりますが、3rd Party IntegrationとしてSlackやGithub、Trelloも使えるのは便利だと思います。 詳細はこちらhttps://instabug.com/ 使い方 会員登録などは省きます。 SDKの導入 InstabugのSDKを導入する方法はマ
auditdでLinuxのファイル改竄検知を行う - Qiita
はじめに Linuxでファイル改竄検知をやろうと思ってauditdを試したメモです。 ファイルの改竄検知としては Tripwire が有名ですが、Linuxであればauditdを使うことも可能です。AmazonLinuxだとデフォルトで入ってたので、設定ファイルを書くだけで使えます。 Tripwireは予めファイルのチェックサムのデータベースを作っておいて、これをファイルを比較することで、ファイルの改竄を検知します。同じようにファイルのチェックサムベースで比較するものとしてAIDEというツールもあるようです。 一方auditdは仕組みとしてはLinuxカーネルでシステムコールを記録して、特定の条件にマッチする操作をログに出力します。なので、若干守備範囲の違うツールですが、システムコールを監視することでもファイルの変更は監視できます。 LinuxのAuditのアーキテクチャや説明などは、Re
Prometheus + Grafana を Mac 上で docker-compose で起動 - Qiita
Prometheus、流行ってますね。 pull 型で、metrics の収集を HTTP 経由で行えるので、テスト用の監視サーバーをローカルの作業マシンに立ち上げて動作確認をしたりするのが楽なのも良い点だと思います。 Prometheus 本体も exporter も docker image が提供されており、docker での環境構築が楽なのも今風の OSS だなという感じがします。 ここでは、docker-compose を用いてローカルの Mac で起動を試みてみようと思います。 How to install Prometheus and Grafana on local Mac docker https://docs.docker.com/docker-for-mac/install/ 上記から Mac 用の dmg をダウンロードしてインストールしてください docker-c
AWS Elastic Beanstalkでmonit監視するための注意点 - Qiita
最近、インフラのお仕事をしています Ruby on railsのアプリケーションでよしなにキューを使いたいという用件があり、shoryukenを使っておりました sidekiqでいいんじゃね、というツッコミはなしにして、インフラ担当の自分はデプロイ時下記の要件を満たすインフラを作る必要がありました shoryukenのジョブが立ち上がっていなかったら立ち上げる shoryukenのジョブが落ちたら復旧する 元々Elastic Beanstalkで構成していたのですが、上記の用件を満たすために .ebextensions で実現しようとしましたがなかなかハマったのでメモを残しておきます shoryukenを立ち上げるために shoryukenを立ち上げるために下記のファイルを配置しました files: "/opt/elasticbeanstalk/hooks/appdeploy/post/5
Dockerコンテナのメトリクス監視してますか？ - Qiita
どうも僕です。タイトルどおりです。 Dockerコンテナのメトリクス監視してますか？？？ 本番環境ならDataDogとかそのへんで監視していてもローカル環境のやつ確認してないこと多くないですか？ ※ 僕はしてないです。dd-agentローカルにも入れれば終わりじゃんって話なんですが、なんかあれじゃないですか。。。 監視してなかったお陰で、高負荷時に突然死する原因を調査したい場合に、無事頭を抱えました。(原因はメモリ枯渇してた) そこで、コンテナ名, コンテナID, CPU, MEM, NET RX/TX, IO R/W, PIDS 情報が見れたらいいのになーを調べてたらさくっと見れることに気づいたので記事にまとめておきます。 やりたかったのはこういうやつです。 本家の付随機能を利用する コンテナのリソース使用状況をライブで流し続ける 使い方
Apacheログをfluentdで読み出してelasticsearchに転送する流れをdockerでシミュレートするハンズオン - Qiita
こんにちはみなさん Elasticsearchって、AWSのサービスじゃなかったんです。 そんな感想を持っているのが私だけじゃなかったので、少しうれしくなりつつ、業務でアクセスログやアプリログの格納先として使用することになりました。 そもそも、AWSにはElasticsearchのホスティングサービス( ESS )というのができているし、イマドキだとログはMongoDBに入れるよりもElasticsearchに入れたほうが、後々扱いやすくなるっぽいです。 急にバックグラウンドでdockerを動かすと突然落ちたりするところに不安をいだきつつ、今回はハンズオン形式でログをElasticsearchに突っ込んで、kibanaで見物するところまで見てみましょう。 事前準備 前提として、以下の環境で行います docker: 1.12.2 docker-compose: 1.8.1 Mac 10.11
DynamoDB Streamのデータをsocket.ioを使ってブラウザに流す - Qiita
やること TwitterのストリームデータをKinesisを経由してDynamoDBに保存します。 DynamoDB Streamにデータを流し、ブラウザでストリームデータを可視化する 構成図 Twitter Stream → Kinesis → DynamoDB AWS Lambda Reference Architecture: Real-time Stream Processing awslabsのアカウントにそのままやりたいことがありました。動かすとKinesisにデータを流して、キャプチャの通りDynamoDBにデータを保存してくれます。 DynamoDB → DynamoDB Stream → Lambda → SNS http Notification DynamoDB Streamの有効化 キャプチャの箇所からDynamoDB Streamを有効化します トリガーを有効化し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【GoogleAppsScript】ログ出力(デバッグ目的) - Qiita
Railsでイベントの処理時間を計測したりログを出力する - Qiita
inspect について調べてみた - Qiita
docker-composeのログを雑にCloudWatchに投げつける - Qiita
ActionMailer の送信ログをとりたい - Qiita
