【Docker】build時に詳細なログを出力する - Qiita
build時のログを詳細に出力する デフォルトではdocker compose buildなどを実行すると以下のように出力されます。 % docker compose build --no-cache [+] Building 18.3s (27/27) FINISHED => [rails-gitlint-test2_web internal] load build definition from Dockerfile 0.0s => => transferring dockerfile: 32B 0.0s => [rails-gitlint-test2_api internal] load build definition from Dockerfile 0.0s => => transferring dockerfile: 828B 0.0s => [rails-gitlint-te
AWSサーバーレス環境でのロギング - Qiita
はじめに 最近、プロジェクトで運用回りの設計を行う機会があったので、その際に学習したことをまとめました。AWSのLambdaなどを使っている方でロギングに興味があるけど、まだ良く理解できていないという方のためになれば幸いです。ここではサーバレス環境でのロギングの基本について解説しています。 また、監視に関した記事も投稿していますので、そちらも興味がございましたら一読下さい。 ログ戦略 マイクロサービスの場合、ログ戦略がとても重要になってきます。 マイクロサービスは複数のサービスから構成されているため、ログ戦略を間違えると調査が困難になり得るからです。ただし、AWSの場合は何でもかんでもログを出力するのは間違いです。標準的なログ出力機能を備えているサービスも多いため、重複が多くなりコスト増につながります。つまり、適切なログのみを出力する必要があります。 Lambdaのログ戦略 開発環境と本番
「GitHub Actions × AWS」のトレーサビリティ向上委員会
GitHub ActionsからAWSを操作できると便利です。OIDC（OpenID Connect）を使えばアクセスキーも不要で、セキュアに運用できます。しかし複数システムにまたがる特性上、トラブルシューティングは面倒です。そこで本記事ではトレーサビリティを向上させ、メンテナンスしやすくする手法を紹介します。トレーサビリティが向上すれば、運用はもっと楽になります。 GitHub ActionsとAWSは赤の他人 当たり前ですが、GitHub ActionsとAWSはまったく異なるシステムです。何を言っているんだという感じですが、トレーサビリティの観点では重要です。なぜなら複数のシステムを扱うときは、トレースできるよう設計しないとトレーサビリティは生まれないからです。 GitHub ActionsやAWSに限らず、普通は他所様のシステムなど知ったこっちゃありません。このお互いに知らんぷりを
Python で RDS に格納されている各種ログをダウンロードする - 継続は力なり
タダです. AWS 利用料のうち CloudWatch Logs への取り込みが高くかかっていました( DataProcessing-Bytes という項目).そこで,下記のページを参照して調べてみたところ一番容量があったのが Aurora のログでした.そのログを CloudWatch Logs に出力せずダウンロードし,S3 などにアップロードしていけばコスト削減に繋がりそうです.この記事では,ダウンロードを Python でやってみた内容をまとめていきます. aws.amazon.com Python で RDS ログダウンロードのための手段 DownloadCompleteLogFile でのログダウンロードを試してみる まとめ Python で RDS ログダウンロードのための手段 boto3 のドキュメントを見てみたらログダウンロードをするのに, download_db_log
【Autify x ZOZO x dip共同開催】AWSコスト削減事例祭り（イベント参加レポート） - Qiita
Autify x ZOZO x dipさんが共同開催の「AWSコスト削減事例祭り」というイベントの参加レポートとなります。 アーカイブ 塵も積もれば山となるコスト削減の話（Autify 松浦さん） Autifyさんはソフトウェアのテストをノーコードで作成することができる製品を提供。 元々Webサービスに対するテストを作成できる製品があり、その後にモバイルアプリをテストできるサービスをリリース。 以下のような構成がAWS上で動いている。 まずは、ワーカーとテストデバイスをFargateに移行してコストを最適化。 この最適化のおかげでお客様が増えれば売り上げも増えるような仕組みとなった。 モバイルアプリに対するテストをするサービスをリリースしたことで、急にコスト増加。 原因は以下 開発用インスタンスの一時的な軌道 ユーザが少なくコスト効率が悪い Web障害からの学びで大きめのインスタンスを使っ
【AWS】SAA資格取得のための学習用備忘録(運用支援サービス) - ポンサラの逆襲
メモ 以前取得したAWSの資格「クラウドプラクティショナー」に続き「ソリューションアーキテクトアソシエイト(SAA-C03)」取得を目指して勉強中！ いつも何か勉強するときは基本的に書きながら覚えるのでここでアウトプットします。 有益な情報かどうかは不明(笑) AWSにおける運用支援サービス システムは作って終わりではない。 むしろ、世の中に公開してからが本番。 システム運用を安定的に行えるか、その上で利用者の声を聞き日々機能を改善していけるかなど、運用フェーズに入ってからが重要。 この運用フェーズを支援するサービスもAWSには存在する。 代表的なサービスは以下の2つ。 ・Amazon CloudWatch ・AWS CloudTrail CloudWatchは、定期的にAWSリソースの状態を取得し、問題がある場合はそれを運用者に通知するサービス。 何を「問題がある」とするかは、利用者側で
Goの新しい構造化ロガーを体験しよう | gihyo.jp
logパッケージ Goには標準ライブラリとしてlogパッケージが提供されています。logパッケージで行えることはそう多くはありません。たとえば、デフォルトではログは標準エラー出力に出力されますが、log.SetOutput関数で出力先を変更できます。また、利用する関数によってログを出力した後の挙動をコントロールできます。たとえば、log.Print関数はログを出力するだけですが、log.Fatal関数はログ出力後にos.Exit(1)を呼び出します。log.Panicはログ出力後に出力したログと同じ文言を引数としてパニックを発生させます。 logパッケージでは、ログとともに関連するデータを出力したい場合は、log.Printf関数を用います。次のように、書式を指定して出力します。 log.Printf("request_url=%s request_method=%s", r.URL, r
Cloud Runで動くJVMの監視にログベースの指標が便利 - 株式会社ヘンリー エンジニアブログ
株式会社ヘンリーでSREをやっているTODA（@Kengo_TODA）です。弊社ではGoogle Cloud Platform（GCP）を活用してサービスを構築しており、またサーバサイドにはKotlinを利用しています。Cloud Runで動くJVMサービスの監視にログベースの指標が便利だったので紹介します。 何をもってJVMで駆動するサービスを「メモリが足りていない」と判断するか Cloud Runのメモリ監視で最も利用しやすいのは、Cloud Monitoringでメモリ利用率などを見ることでしょう。次に示す図のように、サービスごとのデータを取ってグラフ化できます。 図１ メモリ利用率をプロットしてみた ではこのグラフから何がわかるのでしょうか？例えば下側に紫色で示されたCloud Runサービスはメモリにずいぶんと余裕がありそうです。常時この状態であれば、メモリ割当量を減らしても良さ
コスト削減のためにCloudWatchログに長年溜まったログデータをS3にエクスポートするスクリプトを書いた
2023/02/06 追記 S3にエクスポートされたログのキーにエクスポートタスクIDとログストリーム名が自動的に付与されてしまうため、ログデータのパーティション化は困難でした。Athenaではファイルの場所の指定にワイルドカードやglobパターンを使用することができません。 Athenaのテーブル定義で以下のように記述することでパーティション可能な想定でしたが、実際には異なりました。 LOCATION 's3://{bucket_name}/{prefix}' TBLPROPERTIES ( "projection.enabled" = "true", "projection.day.type" = "date", "projection.day.range" = "2020/01/01/00,NOW", "projection.day.format" = "yyyy/MM/dd/",
CloudWatch Logsで複数行をひとまとめにする【Laravel】 - Qiita
CloudWatch Logsが見づらい！ EC2インスタンスで吐き出されるログをCloudWatchLogsに集約しているのですが、そのログがけっこう見づらくて困っておりました。 具体的には上記画像のように一つのエラーログが人まとまりにならず、複数行にわかれてしまうことです。 一つのエラーがひとまとまりになれば、何件エラーがあったとか、ログの境目が一瞬でわかるのに…と悩んでおりましたがしょうがないと思っておりました。 今回はLaravelで吐き出されるログをまとめたいと思います。 multi_line_start_patternでまとまりを作ることが可能 こちらにCloudWatchエージェントの設定ファイルの書き方があります multi_line_start_pattern – ログメッセージの開始を識別するパターンを指定します。ログメッセージは、パターンに一致する 1 行と、後続パタ
原因ではなく症状に注目する理由 | Google Cloud 公式ブログ
※この投稿は米国時間 2022 年 12 月 17 日に、Google Cloud blog に投稿されたものの抄訳です。 「ユーザーの関心は、動作していない理由ではなく、動作していないことにある。」 もしこれが真実だと考えるなら、なぜユーザーが関心を持っていることをモニタリングしないのでしょうか？どのような経緯で現状にたどり着いたのでしょうか？ まず、オペレーション担当者がインフラストラクチャに集中していて、問題が発生しているというお客様からの連絡を待つ従来のモデルを見ていきましょう。最初のうちは、合理的な推測と価値観によって、以下の考え方が直感的に理解できます。 確実さはあいまいさに勝るため、直接的に一番理解していること、つまりインフラストラクチャに焦点を当てたい。 目的は、問題の原因がオペレーション担当者の責任なのか、それとも他にあるのかを把握することである。 インフラストラクチャに
CloudWatchログをターミナルで見ましょう
awslogs streams /aws/lambda/awslogs-test-lambda-HelloWorldFunction-LaSGYdgx6oeA # 出力例 2023/01/02/[$LATEST]efc4cbfd5f524ff98a102892333e5c2d # --start='1h ago' は、1時間前からログを表示するオプションです。 awslogs get /aws/lambda/awslogs-test-lambda-HelloWorldFunction-LaSGYdgx6oeA --start='1h ago' # 出力例 /aws/lambda/awslogs-test-lambda-HelloWorldFunction-LaSGYdgx6oeA 2023/01/02/[$LATEST]efc4cbfd5f524ff98a102892333e5c2d ST
MySQLの機能でスロークエリ関連の解析を行う方法の紹介 - エキサイト TechBlog.
はじめに XTechグループ Advent Calendar 2021の16日目は、iXIT株式会社 エンジニアの蝦名がお送りします。 最近ハマっているものは音楽系Vtuberです。VIRTUAFREAK良かった…。 qiita.com 本題 ツールなどを導入しなくてもSlowQueryを解析できる機能がMySQLには存在するので、今回はその一部を紹介します。 ちなみに私が開発しているサービスのMySQLバージョンは5.6です。 1. mysqldumpslow 一言で言うとスロークエリーログファイルを解析して内容のサマリーを出力してくれる機能です。 前提としてスロークエリーログを出力している必要があります。 使い方 コマンド ※合計実行時間が長い順に10件のSQLを出力する mysqldumpslow -s at -t 10 /opt/fio1/slog/sp-prd-db1-slow.
ApacheでPOSTデータをログに記録したい - Qiita
はじめに Apacheのデフォルトの設定ではaccessログにはPOSTデータの 内容は表示されません。 というか、ユーザの機密情報をログに残さないことが目的の一つで POSTメソッドを使っているので、それで正しい思います。 ただ、開発中の検証などで、POSTデータをログに記録したいことが あると思いますので、その方法を説明します。 もっとも、自分はPOSTするようなWEBアプリケーションを作るときはWEBフレームワークを 使っていて、だいたいのフレームワークはdebugモードにすると、POSTのデータを 見ることができるので、めったに使うことはないと思いますが、、、 環境について 下記の環境で設定をしました。 OS: CentOS6.4 x86_64 Apache: Apache 2.2.25 (ソースからインストールしたもの) mod_dumpioインストール POSTデータをログに残
Apache 2.4でPOSTの内容をログに出力するときは"LogLevel debug"だけじゃ出てこない - Qiita
tl;dr dumpioモジュールを有効化し、InputとOutputを有効化 場合に依ってはOutputは要らないかも
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
S3とCloudWatch Logsの見直しから始めるコスト削減 / Cost saving S3 and CloudWatch Logs
docker-composeのログローテーション - Qiita
Docker friendly�PHP / Laravel
Google Cloud Platform 運用管理 - Cloud Logging 編
Dockerのlogging driver: それぞれの特徴と使いどころ(json-file, syslog, journald, fluentd) - Qiita
