Pythonのloggingについて基本的な部分を確認する | DevelopersIO
Pythonのloggingについてloggerの定義方法の種類や、Formatterの出力できる項目等の基本的な項目について確認してみました。 DA事業本部の横山です。 今回は。普段から利用しているPythonのloggingについてなんとなくで理解している部分が多かったため、基本的なことから復習したので確認した内容を共有します。 前提条件 本記事で利用しているPythonのバージョンは以下になります。 Python: 3.8.13 確認した内容 今回は、以下の項目について公式ドキュメントを中心に確認を行いました。 ログレベル loggerの定義方法の種類 設定ファイル形式 Formatter 一番簡単な利用例 import logging logging.warning('Watch out!') # will print a message to the console loggin
【OpenTelemetry】トレーサビリティを高めるLoggerを考えてみた【Go, Slog】
はじめに 最近携わらせて頂いている開発案件では、Goを使用してMicroserviceを開発しているのですが、ログからエラー内容を把握するのが困難という課題がありました。 これを解決するために、OpenTelemetryを活用してトレーサビリティを高めるLoggerを設計しました。本記事では、OpenTelemetryの計装例とLoggerの実装例を汎用的な形にしてご紹介します。 前提 この記事ではOpenTelemetryそのものの説明は割愛します。以下のトピックは理解しているものとして進めます。 Trace & Span Baggage Context 環境 本記事では、以下の環境を前提としています。 言語: Go 1.21 Cloud: GCP(GKE, Cloud Logging等) 通信: gRPC Gateway 課題と解決策 ログからエラー箇所を特定する上での主な課題は以下の
ログベースのアラートとSlackを連携して、開発サーバーの問題を迅速に発見しよう - KAYAC engineers' blog
この記事はTech KAYAC Advent Calendar 2023の15日目の記事です。 こんにちは、カヤックボンドのサーバーエンジニアの松本です。 今年はカヤックグループ合同のアドベントカレンダーということで、各グループから色んな方が参戦しています。 今回は開発サーバーでの開発体験を高めるためのアラートについて紹介したいと思っています。 なお、今回の記事はGoogle CloudのCloud Loggingにエラーログを送信しているプロジェクトを対象にしています。(50GB/月、保持期間30日まで無料なのでガンガン活用すると良いと思います) はじめに Google CloudではError Reportingという自動的にモニタリング/アラートを行えるサービスがあります。 Error Reportingではエラー箇所ごとに発生回数を集計してくれたり、影響ユーザー数も集計してくれたり
今さら聞けないログの基本と設計指針 - Qiita
ログの出力場所 ログは、開発者や運用担当者が見つけやすい箇所に出力することを原則としましょう。ファイルに出力する場合は、logディレクトリなどを作成しておくことをお勧めします。基本的に、出力先は以下の4つが想定されます。 ・ファイルに出力する コンソール外で起動するアプリケーションに使用される方法です。 ・標準出力 コンソールから起動するアプリケーションで使用されます。途中経過などを出力するための出力方法です。 ・外部ログ管理ツールのファイルに出力 外部のログ管理ツールを用いることが可能な場合は、専用のログ記録場所に出力することを推奨しています。 ・外部システムへ出力 開発者・運用者の作業やコミュニケーションを円滑に行うために、Slackなどのチャットツールに出力するケースもあります。ただし、稼働率に注意する必要があり過度なログの出力は控えるようにしましょう。 基本的に、外部ログ管理システ
運用出来るWebアプリケーションの作り方
はじめに 先日、下記のようなツイートを見つけて、そういえば趣味で個人開発してたときには然程気にしてなかったけど、仕事で運用するようになって先輩たちから学んだり自分で身につけたチップスってちょこちょこあるよねー、とふと思ったので、Webアプリケーション開発に関わるものをいくつかまとめてみました。 特に体系的/網羅的という程でもないですし、最近はFWや色々な仕組みでカバーされてるものも多いですが備忘録として。 Tips 機械が読めるログを作る これは割と重要なのですが、ログは人間が読むものではなく機械が読むものです。それはZabbixだったりDatadogだったりSplunkだったりgrep/awkだったりツールは何でも良いのですが、古の時代はさておき現代ではログは機械が読めることが最重要です。 まず大前提として構造化されている必要があります。言うまでもないですが「フリーフォーマット」のログの
俺たちは絶対にKubernetes上の分析ログを欠損させたくないんだっ...！！その対策としてのfluent-pvc-operatorを紹介🐥 - Qiita
俺たちは絶対にKubernetes上の分析ログを欠損させたくないんだっ...！！その対策としてのfluent-pvc-operatorを紹介🐥kubernetes この記事はZOZO Advent Calendar 2021に出したかったけど既に枠が埋まっていたので野良で出した記事です。 はじめに こんにちは。絶対にKubernetes上の分析ログを欠損させたくない@civitaspoです。今年は社内のログ収集基盤構築プロジェクトでfluent-pvc-operatorというKubernetes Operatorを作りました。この記事ではfluent-pvc-operatorが解決する課題、及び機能や使い方について紹介したいと思います。 なお、この記事ではfluent-pvc-operatorの説明に集中するため、ログ収集基盤構築プロジェクトの全体像等には触れません。プロジェクトの全体像
これからのZOZOを支える ログ収集基盤を設計した話 / Log collection infrastructure to support ZOZO in the future
これからのZOZOを支える ログ収集基盤を設計した話 / Log collection infrastructure to support ZOZO in the future
Goのロギングライブラリ 2021年冬
この記事ははてなブログからの筆者自身による転載です。 総論: なぜログが必要か 可観測性 たとえ目的は自明でも、その動作までが自明なアプリケーションというものはほぼ存在しません。現実の世界のアプリケーションというものは、動作パラメータだったり実行環境だったり、起動時点でのさまざまな要因によって挙動を変えるものだからです。そして、そうしたアプリケーションにはライフサイクルというものがあります。ここでいうライフサイクルは、アプリケーションの処理が実行されるにつれ、アプリケーションの内外との情報のやりとりで生じる大局的な状態の変化のことです。アプリケーションが並行処理を行うようなものであれば、個々の並行処理の単位にもライフサイクルがあることでしょう。アプリケーションはそれ単独で複雑な系であるということです。 また、現実の世界においては、単一のソフトウェアで自己完結するということも非常にまれなこと
Goでセキュアにロギングするzlog
TL; DR Goで秘匿値をログに出力しないようにする zlog というロガーを作りました。 以下、経緯や使い方の説明です。 背景：サーバーサイドにおけるロギングと秘匿値の問題 Webサービスを含む多くのサーバーサイドのサービスでは、サービスの挙動に関するログを出力・記録しておくのが一般的です。継続的にログを出力しておくことで、トラブルシューティングやデバッグ、セキュリティインシデントの対応や監査、性能改善の手がかりなどに活用することができます。ログに含まれる情報が多いほど問題を解決するための手がかりが増えるため、（限度はあるものの）なるべく多くの情報を掲載する、あるいは設定によって情報量を増やせるようにしておくと便利です。 しかし一方で、サーバーサイドで出力するのは望ましくない情報もあります。 認証に利用される情報：パスワード、APIトークン、セッショントークンなど、それを使うことで別の
Grafana Lokiで構築する大規模ログモニタリング基盤 / Grafana Loki Deep Dive
CloudNative Days Tokyo 2021での登壇資料です https://event.cloudnativedays.jp/cndt2021/talks/1252
リバースETLはデータパイプラインの何を変えるのか - satoshihirose.log
はじめに リバース ETL という概念が提起されて、そのための SaaS も生まれており、面白いと思うので所感をまとめる。 Reverse ETL ? 自分が最初に Reverse ETL という言葉に触れたのは、Redpoint Ventures の Astasia Myers が 2021-02-23 に書いたこの記事だった。 Reverse ETL — A Primer. Data infrastructure has gone through an… | by Astasia Myers | Memory Leak | Medium 彼女はどんなものをリバース ETL と呼んでいるかというと Now teams are adopting yet another new approach, called “reverse ETL,” the process of moving dat
How Netflix uses eBPF flow logs at scale for network insight
By Alok Tiagi, Hariharan Ananthakrishnan, Ivan Porto Carrero and Keerti Lakshminarayan Netflix has developed a network observability sidecar called Flow Exporter that uses eBPF tracepoints to capture TCP flows at near real time. At much less than 1% of CPU and memory on the instance, this highly performant sidecar provides flow data at scale for network insight. ChallengesThe cloud network infrast
pythonによるloggingモジュールの使い方
ロギングの設定ファイル「logging.conf」を次に示します。 logging.conf [loggers] keys=root [handlers] keys=consoleHandler, fileHandler [formatters] keys=logFormatter [logger_root] level=DEBUG handlers=consoleHandler, fileHandler [handler_consoleHandler] class=logging.StreamHandler formatter=logFormatter args=(sys.stdout, ) [handler_fileHandler] class=handlers.RotatingFileHandler formatter=logFormatter args=('./log/test.l
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
もっと log/slog を使おう
あなたのPHPアプリ、ログはでてますか？あるいはログをだしてますか？ / Are you writing a log? Or just out a log?
AWSでログ集約システムを構築する
Kubernetesオペレータのアンチパターン＆ベストプラクティス 補足資料
Pythonによるアクセスログ解析入門 / Tutorial on Access Log Analysis by Python
PostgreSQL と ORM と Logging と
Data Logging with Golang: How to Store Customer Details Securely