タグ

GCPとログに関するhiroaki256のブックマーク (6)

  • Cloud Logging 構造化ログの特別な JSON フィールドまとめ

    Google Cloud のログ管理サービスである Cloud Logging は JSON で出力されたログを構造化ログとして認識します。その際に特別な JSON フィールドを使うとログに特別な属性を与える事ができます。記事ではそれらの特別な JSON フィールドを用途ごとにまとめて紹介します。 記事の技術的な内容はほぼすべてこのドキュメント 1 ページに書いてありますが、「実際に UI でどう表示されるのか」と「その特別な JSON フィールドにどんな価値があるのか」はドキュメントにないので参考にしていただけると思います。 Cloud Logging へのログ書き込み Cloud Logging へログを書き込むには大きく 2 つの方法があります。APILogEntry を直接書き込むか、それ以外かです。 API で直接書き込む方法の場合、メジャーな言語であれば各言語のライブ

    Cloud Logging 構造化ログの特別な JSON フィールドまとめ
  • [GCP]Log AnalyticsとLooker StudioでBigQueryのクエリコストをユーザー別に見える化する - Qiita

    [GCP]Log AnalyticsとLooker StudioでBigQueryのクエリコストをユーザー別に見える化するBigQueryLogAnalyticsGoogleCloudLookerStudio 先々月~先月(2022年9, 10月)頃、Cloud LoggingシリーズにLog Analyticsの公開プレビュー版が利用可能になったので、使ってみつつ、Looker Studio(旧Google Data Portal)でBigQueryのクエリコストをユーザー別に見える化するところまで実施してみたので、覚書きを残しておきます。 ※記事は、2022年11月1日に執筆しました。 用語解説 Log AnalyticsとLooker Studioについて、簡単に解説しておきます。 Log Analytics Cloud Loggingシリーズの機能セットのひとつで、BigQuer

    [GCP]Log AnalyticsとLooker StudioでBigQueryのクエリコストをユーザー別に見える化する - Qiita
  • GAE のログに憧れて – google-cloud-jp – Medium

    Google App Engine (GAE) は GCP の他のサービスとの連携が豊富で非常に便利なのですが、その中でも個人的に好きな機能の一つに、Stackdriver Logging に出力されるログの見やすさがあります。 Logging from Google App EngineGAE のログは、上記画像のようにアクセスログとアプリケーションログを一箇所にグルーピングして表示してくれるので、両者のログを行ったり来たりする必要がありません。これは日々の開発や運用で非常に役に立ちます。 今回はこの GAE のようなログ表示に憧れて、他の GCP サービス(特に GKE)でも似たようなことを行えないか模索してみた結果をお話ししたいと思います。 TL;DR条件付きですが、GKE でも以下のようにログをグルーピングして表示することができました。 Logging from Google Ku

    GAE のログに憧れて – google-cloud-jp – Medium
  • 知らん間にGoogle Cloud loggingでログ監視ができるようになっている件 - 続 カッコの付け方

    GCPあるある 久しぶりにDevelopers Consoleにログインして新機能実装に気づく。 一応RSSとか購読してるんですが、ほんとにこのパターン多い。今回はCloud Logging (& Cloud Monitoring)です。以前にLog監視できたらいいなーとか、Pub/Sub + GAE でログ監視ができる!と言ってたのですが、ノンプログラミングでできるようになりました。 仕組み Cloud Logging も Cloud Monitoring もブログで触れています。Cloud Logging は AWSの Cloud Watch Logs に似た仕組みですが、Cloud Logging自体にはLog監視機能がありませんでした。今回の機能追加でかなりの部分が競合するシステムとなりました。 今回のログ監視の仕組みもほぼ、AWSの Cloud Watch Logs と同じです

    知らん間にGoogle Cloud loggingでログ監視ができるようになっている件 - 続 カッコの付け方
  • fluentdでGoogle Compute Engineのログを一つに集約する | A-TAK

    前回、Google Compute EngineでオートスケールするWebサーバーを構築しましたが、ログが各サーバーに分散したり、インスタンスが終了するとログも消えるので、Fluentdでログを一カ所に集めることにしました。 オートスケールは便利だがどこに接続しているかわからん前回の記事↓ 前回、GCE上に負荷に応じて自動でサーバーが勝手にできあがっては消えていくオートスケールのWordPressサーバーを構築しましたが、問題が起きたときのログを確認するのが非常に面倒だと気づきました。 MarsEditからWordPressに画像投稿すると、絶対に投稿に失敗するという問題が起きていまして(現在は解決)、ただWebサーバーが複数あるので、一体どこのサーバーにエラーログが残っているかわからない。片っ端から見るのは面倒…。 Fluentdというのが流行 最初はsyslogでログを転送して一カ所に

    fluentdでGoogle Compute Engineのログを一つに集約する | A-TAK
  • Google Container Engineに移行した その4 | A-TAK

    前回まででNginxphp-fpmをビルドしてGoogleのリポジトリにアップしました。今回はGoogle Container Engine(GKE)のクラスタを作成します。 前回の記事Google Container Engineに移行した その3 | A-tak-dot-com その前にDBとNFSサーバを作る 今回、DB(MariaDB)とWordPressのファイルを置くNFSサーバーはコンテナではなく普通のVMとして立ち上げる想定にしています。作成方法は過去記事を参考にしてください。 お名前.com VPSからGoogle Compute Engineにサーバー移行した その2 | A-tak-dot-com これを先につくっておかないとコンテナがNFSをマウントできなくてコンテナ起動に失敗するので先に用意しておく必要があります。 クラスタを作成するクラスタを作成します。 [b

    Google Container Engineに移行した その4 | A-TAK
  • 1