🪵 Go1.21 log/slogパッケージ超入門
はじめに 2023年8月9日(日本の場合)Go1.21がリリースされました🎉。Go1.21ではさまざまな変更点や追加機能が加わります。その中でもGo標準ライブラリに導入される構造化ロギングパッケージlog/slog(以下、slog)を楽しみにしている方は多いのではないでしょうか？ 本稿では、slogを実際に触りつつ、機能の解説をしていきます。 TL;DR 本稿の概要をスライドにもまとめているので、ご参考にして下さい。 従来のlogパッケージについて slogの説明に入る前に、Go標準のlogパッケージについて簡単に紹介する。logパッケージを用いると、 io.Writer インターフェースを実装する任意の型にログメッセージを書き込むことができる。しかし以下のような制限があった。 ログレベルをサポートしていない ログレベルはほとんどのログパッケージの定番機能の一つだが、logパッケージには
Goの新しい構造化ロガーを体験しよう | gihyo.jp
logパッケージ Goには標準ライブラリとしてlogパッケージが提供されています。logパッケージで行えることはそう多くはありません。たとえば、デフォルトではログは標準エラー出力に出力されますが、log.SetOutput関数で出力先を変更できます。また、利用する関数によってログを出力した後の挙動をコントロールできます。たとえば、log.Print関数はログを出力するだけですが、log.Fatal関数はログ出力後にos.Exit(1)を呼び出します。log.Panicはログ出力後に出力したログと同じ文言を引数としてパニックを発生させます。 logパッケージでは、ログとともに関連するデータを出力したい場合は、log.Printf関数を用います。次のように、書式を指定して出力します。 log.Printf("request_url=%s request_method=%s", r.URL, r
AWSにおけるアプリケーションのログ記録のベストプラクティス - Qiita
はじめに アプリケーションログは、アプリケーションの動作状況をログファイルに記録するプロセスです。アプリケーションよって、この動作状況は1つ以上のファイルに記録することが多いです。このログファイルは、セキュリティとパフォーマンスの分析の実行、アプリの問題のトラブルシューティングなどに役立ちます。この記事では、ログ、ログの種類およびAWSのCloudwatLogsサービスについて説明したいと思います。 各個人によって好きなAWSサービスがそれぞれだと思います。これが正解という訳ではありませんが、参考にしてただければと思います。 対象者 AWSでログの記録に興味がある方。 AWSでワークロードを運用している担当者。 ログレベル ログレベルについて皆さんご存じだと思いますが、主に３種類のログがあります。 レベル 説明
履歴テーブルについて - 一休.com Developers Blog
この記事は一休.com アドベントカレンダーの25日目の記事です。 レストラン事業部エンジニアのid:ninjinkunです。 一休.com及び一休.comレストランはユーザー向けのシステムだけではなく、店舗や一休内の管理者向けの業務システムという性格も持っています。 業務システム経験の無かった自分が一休に転職して最初に驚いたのが、DBに履歴を保持するための履歴テーブルが大量にあることでした。 そこから履歴テーブルの存在に興味と疑問を持ち、社内外のエンジニアと履歴テーブルについて議論してきました。このエントリではそれらの議論をまとめた結果について書いていきます。 履歴テーブルのパターン まず以下の図をご覧ください。 込み入った図かつ事例が一休特化で恐縮ですが、左上の起点から始まって、右のオレンジの部分が最終的な実装パターンです。 図にあるとおり、たいていのユースケースでは以下の3パターンの
nginxとphp-fpmとエラーログ - Qiita
第123回PHP勉強会@東京での新倉 涼太さんのLT「コンテナのログについて」で話題になったnginxとphp-fpmでのエラーログの扱いについて気になったので調べて見ました。かいつまんでいうとdockerでnginxコンテナとphp-fpmコンテナが同じエラーログを重複して出すのをなんとかできないかという話でした。私もそういえば重複して無駄だなと昔一瞬思った気がしますけどそのまま放置してたので。 FastCGIの仕様 FastCGIはコネクション1本でいろんなデータを混ぜて送れるように中身はレコードに分割されていて、レコードのtypeがFCGI_STDOUT(=6)だとブラウザに送るbody, FCGI_STDERR(=7)だとエラー出力みたいな感じになっています。 https://github.com/FastCGI-Archives/fastcgi-archives.github.i
コマンド一発でウェブサイトのアクセスログをターミナルやウェブブラウザで可視化できる「GoAccess」レビュー
ウェブサイトのアクセス数や訪問者の属性を分析するために「Google Analytics」を使っている人は多いはず。無料のオープンソースソフトウェア「GoAccess」を使うと、トラッキングコードをウェブサイトに埋め込むことなく、リアルタイムにアクセス状況をターミナルやブラウザ上で可視化することができます。 GoAccess - Visual Web Log Analyzer https://goaccess.io/ 今回はUbuntu 18.04上にGoAccessをインストールしてみます。最新版をインストールするには下記コマンドを実行すればOK。 echo "deb http://deb.goaccess.io/ $(lsb_release -cs) main" | sudo tee -a /etc/apt/sources.list.d/goaccess.list wget -O -
[さくらのVPS]サーバー監視がとても捗るlogwatchを入れてみた
logwatchとは、サーバのログを解析しやすい形に変えて通知してくれる便利な監視ツールです。デフォルトの設定なら、/var/logにあるログをひと通りチェックして、サービスごとに、そして見るべきチェック項目ごとに、見やすいかたち整理してメールで通知してくれる、とても気の利いたサーバ監視ツールです。 チェックしてくれるサービスは環境によって異なると思いますが、僕の環境だとデフォルトで下記のサービスをチェックしてくれています。 たとえばApacheのaccess_logひとつとっても、手作業でチェックするのは（僕にとって）途方もない作業ですが、logwatchが届けてくれるログメールを見れば、どのIPアドレスからおかしなアクセスがあるとか、エラーレスポンスコードごとに、どのパスに対してのアクセスで何回エラーが出ているとか、ひと目でわかります。 僕みたいな素人でもこうした情報を元にすれば、不正
多い日も安心設計 - Qiita
アプリケーションエンジニアの多くは、眠れない夜を過ごしたことがあるでしょう。特に月に一度の…「月末締めバッチ」の日は。 そんなデータ量の多い日や、初モノのバッチが動く日でも安心して眠れるためのバッチ設計を考えてみます。 ログの設計 まず何はなくともログです。きちんとしたメッセージを出せていれば、専任の人がリカバリ可能にもなるってものです。 Audit用のログなど業務要件の強いものを除いては、だいたい3種類に分けるようにしています。 プログレスログ リカバリログ 例外ログ(調査のため) この分類でファイル単位も分けます。ログを必要とする人が、それぞれ異なるからです。 プログレスログ プログレスログは、特に長時間かかるバッチに対して、現在どのくらいまで処理が出来ているのかを目的として出力します。 トラブル発生時や、大規模移行作業時には、バッチの定期的なモニタリングと報告の必要が出てきます。「あ
【Symfony2】モノログローテーション設定 | ゆとりっち
Symfony2にはデフォルトでログを出力してくれる機能（Monolog）が備わっています。 ただ、そのまま運用するとログファイルが肥大化が問題になります。 そこでログを一定の期間ごとに別のファイルに切り替えて記録できると管理も楽になります。 今回はSymfony2のMonologのローテーション設定についてご紹介します。 Monologについて MonologはSymfony2で採用しているロギングを行うライブラリです。 細かい内容については公式の記事をご参考ください。 Monologの設定ファイルやログの出力場所は？ 開発用の設定ファイル：app/config/config_dev.yml 本番用の設定ファイル：app/config/config_prod.yml ログはapp/logsに出力されます。 デフォルトではapp/logs/dev.log, app/logs/pr
「ログの見かた」～初心者でもよくわかる！VPSによるWebサーバー運用講座(1) | さくらのナレッジ
さくらのVPSを使った、初心者向けの記事「VPSによるWebサーバー構築講座」を半年前に公開しました。さくらのVPSを使ってWebサーバーを構築し、WordPressをインストールするまでの手順を解説しました。 しかし、サーバーは構築が完了したらそこで終わりではなく、稼働し続けている間はメンテナンスをしていかなければいけないし、安全に運用するにはセキュリティにも気をつかわなければなりません。 そこで、VPS構築講座の続編として「運用編」をお届けします。いったんWebサーバーとして稼働しはじめたサーバーについて、継続してサービスを続けていけるように運用のノウハウをお届けします。 運用編の連載は５回に分けて行う予定ですが、まず初回は「ログファイルの見かた」について触れたいと思います。 ログファイルについて大きく2種類のログをご紹介します。 WebサーバーApacheのログの見かた ssh関連の
ターミナルの操作ログを自動で残したい
プロセスアカウンティング用に広く利用できる物として "Process Accounting Utility" があります。環境によって、パッケージの名前が、 psacct もしくは acct になっているものです。 $ # インストール (ubuntu) $ apt-get install acct 用意されているコマンド lastcomm: 実行されたコマンドの表示 ac : ユーザの接続時間の表示 sa: 過去に実行されたコマンドの集計／フィルタ ※ 質問の要件を満たすために、一般ユーザーからはこれらのコマンドが実行できないようにしてください。 アカウンティングサービスの実行 $ # サービスの開始 $ /etc/init.d/acct start $ # サービスの停止 $ /etc/init.d/acct stop 実際は、accton コマンドによってプロセス監視が始められます。
サーバの負荷や使用率などを見るコマンドの一覧 - [Linux [Red Hat/CentOSなど]/サーバー] ぺんたん info
サーバの負荷などの監視に使うコマンドいろいろ [参考記事] ログをリアルタイムに表示させて監視する方法 [参考記事] PHPでロードアベレージを表示させる方法 [参考記事] Cacti RRDToolを利用したサーバ監視ツール ロードアベレージ(CPU負荷状態) w または uptime ディスク使用率 df メモリ使用状況 free 起動中のタスク ps aux ロードアベレージ、メモリ使用状況、タスク(負荷順) top ディスクI/O iostat リアルタイムで見るには watch iostat iostatを利用するにはsysstatのインストールが必要です。 yum install sysstat その他いろいろ sar -u 3 10 sarとはSystem Admin Reporterの略です。 CPUやネットワーク、メモリ、ディスクなどの情報を見ることができます。 ログは日
柔軟なログ収集を可能にする「fluentd」入門 | さくらのナレッジ
複数台のサーバーやクラウド環境を組み合わせてのサービス運用においては、ログの収集方法に工夫が必要となる。こういった場合に有用なのが、さまざまなログの収集手段を提供するfluentdだ。今回はfluentdのアーキテクチャやそのインストール/設定方法、基礎的な設定例などを紹介する。 さまざまな方法でログを収集できるfluentd 今回紹介するfluentdは、Treasure Dataが開発するログ収集管理ツールだ（図1）。オープンソースで公開されており、Linuxや各種UNIXで動作する。 図1 fluentdのWebサイト ログ収集のためのソフトウェアとしてはsyslogdやsyslog-ngなどが有名だが、fluentdがこれらと異なる点としては、以下が挙げられる。 さまざまなソースからのイベントをさまざまな媒体に出力できる fluentdの大きな特徴としては、ログの収集方法やログの記
bit-drive
bit-driveのトップへ あなたが検索したページは表示できません。 ページが削除されたか、URLが変更されている可能性があります。 URLが正しいかどうかもう一度ご確認ください。 もしわからなければ、下記サイトマップから目的のページをお探しください。 もし、bit-driveサイト内にリンクの誤記がありましたら、お手数ですが bit-driveインフォメーションセンターお問合せフォームからご連絡くださいますようお願いいたします。 The Page cannot be found. The Page you are looking for might have been removed, or had its name changed.
Linuxサーバ運用マニュアル
Linuxでインターネット・サーバを構築する方法は良く紹介されていますが，サーバの運用法やセキュリティ対策，バックアップなどについてはあまり紹介されてはいません。ASHマルチメディア研究会（http://ash.or.jp/）の皆さんに，小規模システム向けの現実的な運用法について解説していただきます。 第1話「運用マニュアルを作ろう！」 第2話「フリーソフトでファイアウォールを作ろう！（前編）」 第3話「フリーソフトでファイアウォールを作ろう！（後編）」 第4話「障害時の構成を考えよう！」 第5話「データを2重化しよう！」 第6話「リソースをチェックしよう！」 第7話「ログをチェックしよう！」 第8話「サービスの状態をチェックしよう！」 第9話「cronで監視しよう！」 第10話「ユーザの登録、削除が必要なときは？」 第11話「ホストの追加、削除が必要なときは？」
システム管理の基礎 syslogdの設定をマスターしよう
syslogdによって記録されるログは、システムの運用・管理のための重要な手掛かりとなる。しかし、各環境固有の事情に合っていなければ、ログを取得する意味はない。syslogdやlogrotateの設定方法をマスターし、必要な情報を選別できるようにしよう。（編集局） 管理者にとって、サーバの正常性の確認とトラブルシューティングは、設定変更と同じかそれ以上に重要な作業です。それらの作業を行う際に役立つのが、各アプリケーションやOSが出力するログです。 一般的に、常にログを監視するという業務はあり得ないでしょう。何も起こらなければ退屈以外の何物でもなく、ログを監視していても異常かどうかは即座に判断できないことが多いかと思います。ログを確認するタイミングとしては、システムに何かが起こった場合あるいはこれから何か起こる可能性がある場合が考えられます。それ以外はログを見ないという管理者もいるでしょう。
Linux等でのログのモニタリングで簡単にアラートをキャッチするワンライナー - 元RX-7乗りの適当な日々
昔、『「ping -a」で音が鳴る！』なエントリでも書いたのですが、何らかをリアルタイムにチェック/監視したい時に、視覚だけではなくアラート音が一緒に出ると、モニタリングしやすいものです。 というわけで、Linuxなんかで、とあるログファイルの出力から、ある文字列が検出された際に、ビープ音を鳴らすワンライナーは以下。 $ tail -f ログファイル | sed -e 's/\(対象文字列\)/\1^G/'上記を実行中に、指定ログファイルに対象文字列が出力されるとビープ(Beep)音が鳴るはず。 「^G」(0x07)の部分が、ASCIIのBELキャラクタのリテラルです。 $ echo -n "^G"などとしてやれば、ベル(ビープ音)が鳴りますよね。 ちなみに、「^G」は、[Ctrl-V] ⇒ [Ctrl-G] の順に入力してやればOK。emacsだと[Ctrl-Q] ⇒ [Ctrl-G]か
ログ監視ツール導入(SWATCH) - CentOSで自宅サーバー構築
（１）SWATCHアクションスクリプト作成 SWATCHが検知したIPアドレスからの累積不正アクセス数が3回ごとまたは、引数でblock※と指定された場合、該当IPアドレスからのアクセスを24時間規制するシェルスクリプトを作成する ※Ping of Death等悪意のあるアクセスを即規制するためのオプション [root@centos ~]# vi /usr/local/bin/swatch_action.sh ← SWATCHアクションスクリプト作成 #!/bin/bash # SWATCHアクションスクリプト # # 引数1:ログ区切り文字を指定 # 引数2:ログ内IPアドレス位置を指定 # 引数3:該当IPアドレスからのアクセスを規制する場合blockを指定 PATH=/bin:/sbin:/usr/bin # 規制IPアドレス情報メール通知先設定 # ※メール通知しない場合は下記をコ
Web上でシステムログの閲覧、監視·Clarity MOONGIFT
ClarityはRuby製のオープンソース・ソフトウェア。システムのログを見る際にはSSHを使ってサーバにログインして確認するというのが一般的だ。だが何台もあるサーバに個々にログインするのは面倒だ。社内のサーバであれば、セキュリティ的にも厳しい制限がないことも多い。 そこで使ってみたいのがWebブラウザベースで使えるログ監視ツールだ。Clarityはサーバ上で実行することでWebブラウザ上でログ閲覧を行える。監視したいログの種類も設定できるので、多数のサーバを管理する上で便利に使えるかも知れない。 モードは二つあり検索とTailになっている。検索は指定したログファイルから入力した検索ワードをチェックし、一覧で結果を表示する。Tailはまさに更新されるたびに表示が追加されるTailだ。自動スクロールを有効にすれば自動的にスクロールして表示が更新されるようになる。 背景は黒、文字は白でターミナ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CloudWatch Logs Insights Query Syntax - Amazon CloudWatch Logs