ログ調査基盤を構築してみた
こんにちは。 株式会社ココナラのインフラ・SREチーム所属の かず です。 システム運用において、有事の際に迅速かつ適切なシステム稼働状況の確認は欠かせません。 その手段の1つとして、ログの調査や分析の効率化は切っても切れない関係です。 システムが成長するにあわせ、ログの種類や量が多くなり、結果としてログの調査や分析が難しくなるのはよくある話かと思います。 弊社でもサービスのグロースに伴って、ログの種類や量が多くなり、結果としてログの調査や分析で課題を抱えていました。具体的には以下の2点です。 ログから原因調査を行うには、複数ログを横断・突き合わせが必要 ログの追跡に必要な情報がログに出力されない場合がある そこで、課題への対応としてログ調査基盤の構築を行いました。 本記事では背景や苦労したこと、効果についてご紹介します。 複数ログの横断調査実現に向けて ログ調査基盤の構築 苦労したこと
今さら聞けないログの基本と設計指針 - Qiita
はじめに 皆さんのログに対する理解はどんなものでしょうか？仕組みから設計方法まで完璧に理解しているエンジニアもいれば、なんとなく使用しているエンジニアも多いことでしょう。 ログとは、システムに着いてエラーや障害の発生、利用者による操作や設定の変更、外部との通信などを時系列に記録したものです。ログに関する理解を深めることで、複雑なシステム開発や運用が可能となります。また、AWS、Azure、GCPなどのクラウドサービスを利用している場合はシステムの開発が可能になるだけでなく、経費削減に繋がる可能性も考えられます。 本記事では、ログの基本を押さえるためにその設計方法について解説します。少しでも自信がない方は、ご一読ください。 ログを出力する理由は？ ログの基本や、ログの設計について解説する前にそもそもログを出力する理由を押さえましょう。大きく4つの理由が考えられます。 ・問題が発生した時に調査
運用出来るWebアプリケーションの作り方
はじめに 先日、下記のようなツイートを見つけて、そういえば趣味で個人開発してたときには然程気にしてなかったけど、仕事で運用するようになって先輩たちから学んだり自分で身につけたチップスってちょこちょこあるよねー、とふと思ったので、Webアプリケーション開発に関わるものをいくつかまとめてみました。 特に体系的/網羅的という程でもないですし、最近はFWや色々な仕組みでカバーされてるものも多いですが備忘録として。 Tips 機械が読めるログを作る これは割と重要なのですが、ログは人間が読むものではなく機械が読むものです。それはZabbixだったりDatadogだったりSplunkだったりgrep/awkだったりツールは何でも良いのですが、古の時代はさておき現代ではログは機械が読めることが最重要です。 まず大前提として構造化されている必要があります。言うまでもないですが「フリーフォーマット」のログの
【Azure】これ知ってた？ 「Log Analytics」「Kusto」のログクエリ時のテクニック
「Azure Log Analytics」「Kusto」でのログ分析が難しい!? Azureの各サービスが出力するログを分析する場合、「Azure Log Analytics」サービスなら簡単にセットアップできて便利だ。 ただLog Analyticsでは、「Kusto」（KQL： Kusto Query Language）と呼ばれる言語で分析時のフィルタや出力内容などを指定する必要がある。構造はSQL言語によく似ているとはいえ、望み通りの統計などを得るには、それなりにKustoの関数や演算子を使いこなす必要がある。Microsoft Learnのレファレンスなどを参照しつつ、試行錯誤を繰り返すこともよくあるのではないだろうか。 本Tech TIPSでは、そのような時に役立つ、Kustoのちょっとしたクエリのテクニックを紹介したい。ログの主な対象はAzure App ServiceとAzu
追跡しやすいログ出力を実現する - Qiita
サービス運用をしていくうえで、ログはとても重要です。 どういった操作がされているのか、どういったことが起こっているのか。運用しているサービスを調べる方法として、「実際のデータを確認すること」と「ログを確認すること」しかできません。 「データを確認する」ことは、問題があった時に原因が分からず、どうにかして確認するための最終手段となります（個人情報を含むようなサービスであれば、そう簡単には見ることができないでしょう…）。 ということは、サービス運用の視点も踏まえたログ出力を心掛ける必要があります。 では、実際にログを取得しないといけない状態になったと仮定しましょう。どういったことができると 楽ができる(早く見つけられる) でしょうか。 追跡しやすいログ出力にする意味 ログを確認する時、多くの場合は下記の流れになると思います。 「何かが発生した時間」で絞り込み その出力内容と同じ処理であるログ出
logspoutでDockerコンテナのログの集約・ルーティング
logspoutでDockerコンテナのログの集約・ルーティング progrium/logspout logspoutは，ホスト内で動かした全てのDockerコンテナの出力を集約して，好きなところに飛ばす（ルーティングする）ためのツール．開発者はDokkのJeff Lindsay． 以下の2つの特徴がある コンテナとして起動（ステートレス） HTTP APIによるルーティングの設定 ログを貯めて管理したり，検索するといったことはできない．コンテナのログをリアルタイムで好きなところに飛ばすだけ． これだけだが，Dockerのログの問題をいい感じに解決してくれそう． Dockerのログのしくみ まず，簡単にDockerのログのしくみを説明する． 現時点（2014年5月）でDockerはコンテナ内で吐き出されたstdout/stderrを取得することができる．コンテナのプロセスがstdoutとs
Mackerelの`check-log`プラグインでエラーの内容も取得する - Qiita
check-logプラグインについて サーバー監視のSaaSであるMackerelは, 公式が提供するプラグインを利用することで, サーバー上にある様々なリソースや情報を監視することができます. その中の1つが, ログ監視を行うcheck-logです. このプラグインを使えば, サーバ上に存在する任意のログファイルを監視し, そこに指定した文字列が出現した場合にアラートを発生させることができます. 例えば, mackerel-agent.confに次のように書いておけば, /var/log/myapp/app.logに, [CRITICAL]というログが書き込まれた時, アラートを発生させることができます. [plugin.checks.app] command = "check-log --file /var/log/myapp/app.log --pattern '\\[CRITICA
ログ監視をおこなう - Mackerel ヘルプ
公式チェックプラグイン集の check-log を使ってログ監視をおこなえます。公式チェックプラグイン集のインストールは、チェック監視に公式チェックプラグイン集を使う をごらんください。 check-log の使い方 check-logを使ってログ監視をおこなうためには例えば以下のように mackerel-agent.conf に記述し、mackerel-agentを再起動します。 [plugin.checks.access_log] command = ["check-log", "--file", "/var/log/access.log", "--pattern", "FATAL"] Windows Server 環境の場合は、以下のように記述します（ログファイル C:\log\access.log を対象にログ監視する場合。対象ログファイルにBOM（バイトオーダーマーク）が付与され
【OSS技術コラム】第2回 Zabbixログ監視の仕様で知っておきたいこと｜特集・コラム｜ITシステム運用のCTCシステムマネジメント株式会社（CTCS）
第1回目でお話ししました、便利なOSSの監視ツールZabbixを使いこなして頂けるよう過去の経験から気づいた留意点や改善ポイントについてコラム形式で解説しています。 1.ログ監視検知・収集の仕様 2.ログファイル読込みの仕様 3.Zabbixログ監視をうまく使いこなし運用するために 1.ログ監視検知・収集の仕様 Zabbix も他の監視ツールと同じくログ監視機能を有しています。 ログファイルに書き込まれる「error」などのキーワードをZabbixエージェントが定期的にチェックして、対象文字列を発見すると障害イベントを通知するというものです。 ログ監視設定について ログ監視に限らずですが、Zabbixの監視設定は大きく分けてアイテムとトリガーという2つの設定で行います。アイテムは監視項目を設定し、トリガーは障害判定設定を行います。アイテムという単位で監視対象(CPUの使用率やプロセス名など
TwilioStudioで留守中に電話があったらslackに通知する仕組みを作ってみた - Qiita
はじめに はじめまして、すーです。 ここ１年くらいTwilioを触ってます。楽しいですよね、Twilio！ ただ、正直プログラマではないすーには少しハードルが高いところもあり、主にTwilioStudioを愛用しています。 今日は、我が家の留守番電話をTwilioStudioを使って強化した話を書いてみたいと思います。 ★すーによる認識ミス、表現ミスで、おかしなことを書いている場合は ご指摘いただけると非常に助かります★ 登場人物紹介 すー ：筆者。兼業主婦。日中は家にいないことが多い。 基本、ウッカリ者なので帰ってきてから家の留守電が光っててもほぼ気づかない。 留守電を一人で聞くのが苦手（ちょっと怖い）。 すー父：すーの地元の地方都市に１人で暮らす、超自由人。 ITには徹底的に疎い。携帯すら持っていない。 携帯にかけてよ、と何度伝えても家電にかけてきて、留守電に要件を入れてくる。 頻度は
Python(とGo)で複数プロセスから一つのファイルにログを書き込んでいいのか？
概要 マルチプロセスでレスポンスの処理を行う（1リクエストにつき1プロセスがレスポンスの処理を行う）PythonのWEBフレームワーク[1]でAPIサーバーを実装している際、各プロセスから一つのファイルにログを書き出しても、行が上書きされる・順番が前後するといった不整合がおきないのか、という疑問がわきました。（ファイルは各プロセスで独立にopenするものとします。） Pythonのロギングに関する公式ドキュメントには、「複数プロセスから1ファイルへのロギングはサポートしていないから別の方法で工夫しろ」と書いてあるのですが、別の記事では「書き込むログの長さが短ければ不整合はおきない」と記述されていたり、よくわからなくなったので自分で調べてみました。 結論としては、Python標準のloggingモジュールでログの長さが2,147,479,552(=0x7ffff000)バイト以下なら「原子性
docker container内で叩いたコマンドを docker log に出力する方法 - Qiita
やりたかったこと チームメンバーにCLIコマンドを提供した GUI 作る暇がない ACLの関係で指定サーバからしか叩けない security的にproxyなど使いたくなかったため serverへのlogin権限さえあれば叩ける = 権限管理は既存のアレでok host OS の環境は汚したくないのでコンテナで提供 docker exec はうざいので、aliasでhost側から実行させる alias cli='docker exec container_name python run.py $@' 実行した結果をelasticsearchに保存したい 前提知識 - コマンド結果を docker log に入力させる方法 terminalを２つ開きます これでlogを流しておく
自分が「いつどこの国に海外旅行したことがあるのか全部わかる方法」|ガジェット通信 GetNews
自分が今まで、いつ、どこの国に、どこから飛び立ったか、覚えている人いますか？ パスポートのスタンプは順番ではなく適当に押されているし、律儀に旅行した国と日付を記録している人、少ないと思います。 渡航歴をすべて知ることができる 実は、法務省にパスポートと身分証明証を持参すれば、自分が生まれてから、いつ、どこから、どこへ海外旅行したのか、すべて知ることができるのです。あくまで「日本から海外」のデータですので、「海外から海外」のデータは知ることはできません。 つまりこれ、自分が赤ちゃんで記憶にない時の海外旅行も記録されているのです。おもしろいと思いませんか？ なぜ切手代が必要なのか 保有個人情報開示請求書を書いて、切手代と手数料の印紙代を払って終わり。費用は数百円です。なぜ切手代が必要なのかというと、いまその場で渡航歴を知れるのではなく、渡航歴リストを印刷した紙が郵送で送られてくるからなのです。
Pythonの基本的なlogging
Python のロギング方法について ログ出力のための print と import logging はやめてほしい という記事や他にも色々な記事でこういうロギングがあるよと紹介されています。 さまざまなロギング方法の中でどうすれば良いか迷ってしまう人もいるかもしれないと思い、僕が普段から実践している(多分)基本的なロギング方法を紹介しようかと思います。 アプリケーションによっては設定を追加したり、フォーマットを変更したりなどのカスタマイズをしますが、基本的な部分は変わらないと思うのでなにかの参考になれば幸いです。 記事の構成としてはライブラリとアプリケーションでわけて記述していきます。 適当に考えていたことや参考情報は Scrap に記載しています。 ここで紹介するソースコードは GitHub に公開しています。 筆者の実行環境は以下のようになっています(OS関係) Windows 10
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
もっと log/slog を使おう
Docker Logging with Filebeat, Elasticsearch and Kibana
Run Filebeat on Docker | Filebeat Reference [8.13] | Elastic
あんどぅ on Twitter: "本番運用するといずれ誰もがたどり着く、公式ドキュメントには書かれてないログ管理の現実解が資料化されていてすばらしい そう、CloudWatch LogsにはDev環境 or ERRORの場合のみ飛ばすFluentdの設定をすることで利便性と料金のバランスをとるのである これは公式ドキュメントにすべき https://t.co/RE4FmPCpJX"
江添亮さんはTwitterを使っています: 「「Twitterのオーナーが変わったので、俺がやるように業務命令された当時のTwitterがやろうとしていた非倫理的なことについてそろそろ話してもいいだろう。」」 / Twitter
Docker ロギングのベストプラクティス
