Webサーバーのアクセスログをスクリプトで解析してみた(続き) - Qiita
修正前のスクリプトと生成AIとのやりとり スクリプトの前提条件は、この内容と同じです。 まず、修正前の「HTTPステータスが200以外のメソッド、URIなどを出力するスクリプト」です。 HTTPステータスが200以外のメソッド、URIなどを出力するスクリプト import os import glob import pandas as pd log_directory_output_filesを指定するCSVファイルパスを変更してください config_file = "C:/performance/scripts/config/http_status_not_eq200_requests_config.csv" アクセスログフォーマットの列名 columns = ["host_ip_address", "remote_hostname", "date", "time", "method_u
GAS EventのDebug方法はLogで行う - Qiita
TL;DR Logを入れ、調査するしかない。 ブレークポイントは張れなさそう 2種類のlog Stackdriver Logging Apps Script dashboardで見る。（https://script.google.com/home/executions） console.log("checkmethod start"); var sample = "TarakoPasta is great food"; console.log(sample); console.log("checkmethod start"); Basic Logging Script EditorのView > Logsで見られる。Ctrl+Enterでも見られるのでこっちのが楽。 Logger.log("checkmethod start"); var sample = "TarakoPasta is
ログ一元管理の本質とSIEMの限界 - データ基盤への道 - LayerX エンジニアブログ
三井物産デジタル・アセットマネジメントで、ガバナンス・コンプラエンジニアリングをしている 鈴木 (@ken5scal )です。 いきなりですが、ログ管理はどの職種どの場面でも重要です。セキュリティにおいても、古生代よりサーバー、ネットワーク機器、アプリケーションなどから出力されるログを一元的に収集し、監視や分析を行うことで、セキュリティインシデントの早期発見や対応、コンプライアンス要件の達成が可能になります。 このようなログ一元管理を実現する代表的なソリューションは、そう、皆様よくご存知のSIEM。我らが「Security Information and Event Management」であります。 私はSIEMを、新卒で入社した大手企業でSOC(Security Operation Center)として触れ、その後ユーザー企業でもOSSやAWS GuardDuty（？）などの形で利用す
Redoログから読み解くMySQLの物理的な更新処理 - Qiita
概要 MySQLを運用するうえで、データ復旧やポイントインタイムリカバリPITRには一貫性のあるバックアップとバイナリログ(以降binlog)が理解できていれば十分なので、Redoログを意識することは殆どありません。 これはMySQLが現場で利用される際は、冗長化や負荷分散のために、レプリケーション構成とともに利用されることが大きな理由です。 特にMySQLのレプリケーションは論理レプリケーションのみがサポートされており、デフォルトでは非同期レプリケーションな上に、ほとんどの場合レプリケーションのためのbinlogが、トランザクション処理中のロギングのボトルネックになるため、Redoログ関連のチューニングする必要も滅多にないためです。 しかし、MySQLはNo-Forceなトランザクション処理を実現するために、RDBMSの教科書通りのWrite Ahead Logging(WAL)方式に従
開発者もIDEから稼働中のシステムの状態を確認したい？（ログ検索編） - Qiita
概要 IDEを使って開発した後にデプロイされたシステムのパフォーマンスやログなどをIDE上で簡単に検索できたらワクワクしませんか？問題が起きたときのトラブルシュートでも使えますし、次のシステムの改善点を考える上でも活用できます！ こちらの投稿では開発者が使っているIDEからデプロイ済みのシステムのログを検索してみたいと思います。 CodeStreamを使用するための設定については下記で紹介しているので参照してください。 CodeStreamの詳細は公式ガイドを参照ください。 ログを検索（基本） デプロイされているシステムのログをIDEから検索してみます。 まずは、CodeStream上のView Logsをクリックします。 タブで開いたCodeStream(Logs)の検索ボックスに文字列を入れて[Query Logs]で検索すると、ログ検索の結果が素早く一覧表示されます。 ログを検索（文
console.logって打つの面倒だよねって話 - Qiita
この記事の対象者 エディタ: IntelliJ(2023.3.4 Ultimate Edition) TypeScript・JavaScript以外の言語も触ったことがある人 console.log()をタイピングしているつもりがついうっかりprint()とか書いちゃう人 そもそもconsole.logってタイピングが長いと思っている人 console.logとか出すんじゃなくてデバッグすればよくね？ってツッコミが来そうですが、 コーディング初心者なんです、慈悲をください〜🔰 結論 IntelliJのスニペット機能、 Live Templatesに好きな形で登録して幸せになろう！ スニペットの一例↓(細かい設定は後述) console.log("🚀====$FILENAME$: L: $NO$ ====🚀") console.log("$VARIABLES$: ", $VARIABL
console.log() の代わりにdevtoolsのLogpointsを使う - Qiita
Logpointsを使おう Webフロントエンドの開発をする際、デバッグ目的で「特定の処理が実行された」ということを確認するために console.log() を使うことは多いと思います。しかし、Google Chrome や Microsoft Edge で利用可能な Logpoints を利用することで、 console.log() を使わずともコンソールにメッセージを出力することが可能です。 なぜLogpointsを使うの？ Logpoints を使うのには以下のメリットがあります。 デバッグや動作確認のためにコードを変更する必要が無い console.log() を誤ってcommitに含めてしまう心配が無い console.log() を入れた後に再ビルドやホットリロードを待つ必要が無い どうやってLogpointsを使うの？ logpoints は以下のように使用します。 Chr
AWSでの法令に則ったログ設計及び実装/分析 - Adwaysエンジニアブログ
エージェンシー事業でリードアプリケーションエンジニアを行なっている大窄 直樹 (おおさこ)です. AWSのログ, サーバーのログってたくさん種類があって難しいですよね... 同じようなログがたくさんあるので, 何を取れば良いのかとか どのくらいの期間保持すれば良いのかとか またその後の, ログの実装や, 分析方法する方法も難しいですよね... 今回AWSに構築した商用アプリケーションのログを整備する機会があったので, このことについて書こうかなと思います. 概要 本題に入る前の準備 今回ログ実装するアーキテクチャ ログに関する法令 ログの取得箇所 設計 保管するログの決定 インフラのログ OSのログ アプリケーションのログ ログの保管 保管場所について 保管期間について バケット構造 アプリケーション, OSのログの転送 実装 アプリケーション, OSのログをfluentbitを用いてS3
【AWS】実務で必ず知っておきたいCloudWatch Metrics・Logsをハンズオンで学んでみよう - Qiita
本記事の目的 業務でAWSを触る方にとってCloudWatchに対してなんとなく苦手意識をもっている人は多いのではないでしょうか。特に私のようなDevOps/SRE領域を開発業務の片手間で担っている人たちにとって監視領域は後回しにしがちです。 今回の記事では、このCloudWatch、そして本サービスの軸となるCloudWatch Metrics,CloudWatch logsを自分自身の学習の備忘録がてらハンズオン形式で学べる記事を書いてみました。 対象となる読者は以下を想定します。 対象読者 AWSを業務で使い始めた＆使いたい人 DevOps/SRE担当でCloudWatchを使った監視業務を求められてしまった人 CloudWatch logs,CloudWatch Metricsを実際に手を動かして確認したい人 なお利用するサンプルAPIは全てGoで書かれていますが、コード箇所は読み
個人的AWS ログ管理のベースライン - mazyu36の日記
AWSのログ管理についてはいくつか考えるポイントがあると思います。 どのログを保存するか。 CloudWatch Logs（以下CW Logsと記載）とS3のどちらに保存するか、もしくは両方に保存するか などなど。 システムの特性によるところも多いかと思いますが、自分の中でのログ管理のベースラインが定まりつつあるので、頭の整理がてらまとめます。 自分の中での大まかな方針としては以下です。 S3に保存できるものは基本S3に保存する。 以下の場合は、CW Logsに保存する。必要に応じてS3に転送する。 アラームを出したい場合 さっとCW Logs Insightでログを確認したい場合 CW Logs に出さざるを得ない場合 全体像としては以下になります。 なおあくまで個人的な経験に基づくものなので、実際にはシステムの特性を踏まえて方針の決定が必要かと思います。 またこれは必要、これは不要など
AWSにおけるアプリケーションのログ記録のベストプラクティス - Qiita
はじめに アプリケーションログは、アプリケーションの動作状況をログファイルに記録するプロセスです。アプリケーションよって、この動作状況は1つ以上のファイルに記録することが多いです。このログファイルは、セキュリティとパフォーマンスの分析の実行、アプリの問題のトラブルシューティングなどに役立ちます。この記事では、ログ、ログの種類およびAWSのCloudwatLogsサービスについて説明したいと思います。 各個人によって好きなAWSサービスがそれぞれだと思います。これが正解という訳ではありませんが、参考にしてただければと思います。 対象者 AWSでログの記録に興味がある方。 AWSでワークロードを運用している担当者。 ログレベル ログレベルについて皆さんご存じだと思いますが、主に３種類のログがあります。 レベル 説明
AWSサーバーレス環境でのロギング - Qiita
はじめに 最近、プロジェクトで運用回りの設計を行う機会があったので、その際に学習したことをまとめました。AWSのLambdaなどを使っている方でロギングに興味があるけど、まだ良く理解できていないという方のためになれば幸いです。ここではサーバレス環境でのロギングの基本について解説しています。 また、監視に関した記事も投稿していますので、そちらも興味がございましたら一読下さい。 ログ戦略 マイクロサービスの場合、ログ戦略がとても重要になってきます。 マイクロサービスは複数のサービスから構成されているため、ログ戦略を間違えると調査が困難になり得るからです。ただし、AWSの場合は何でもかんでもログを出力するのは間違いです。標準的なログ出力機能を備えているサービスも多いため、重複が多くなりコスト増につながります。つまり、適切なログのみを出力する必要があります。 Lambdaのログ戦略 開発環境と本番
有効期限を過ぎても消えないインメモリキャッシュの謎 - 私が歌川です
tl;dr キーワードは「monotonic clock」です。 あらすじ Goで以下のようなコードを書いていた*1*2。あるAPIを叩くクライアントで、APIコールに必要なアクセストークンを4時間キャッシュしている。c.getToken() で得られたトークンを使ってAPIコールを行えばよい。 type Client struct { mu sync.RWMutex expiresAt time.Time token string } // トークンのキャッシュがあればキャッシュから返し、なければ更新してから返す func (c *Client) getToken() string { if cachedToken, ok := c.getTokenFromCache(); ok { return cachedToken } return c.refreshToken() } // トー
【AWS】ぼくのかんがえたさいきょうの運用・監視構成 - Qiita
AWSのインフラを運用・監視する上で使いやすいと思ったサービスを組み合わせて構成図を作成しました。それぞれのサービスの簡単な説明と類似サービスの紹介、また構成の詳細について説明していきます。 (開発で使用するようなサービスも紹介しますが、あくまでも運用・監視だけの構成です。) 各個人・企業によって環境は違うと思いますし、使いやすいと思うサービスは人それぞれだと思うので、これが正解という訳ではありませんが、参考にしてただければ幸いです。 参考になった教材を紹介した記事も作成しました。是非読んでみてください！ 【AWS】さいきょうの運用・監視構成を作成するのに参考になった書籍 インフラエンジニア1年生がプログラミングを勉強するのに使った教材 全体図 こちらがAWSにおける"ぼくのかんがえたさいきょうの"運用・監視構成です。複雑で分かりづらいかと思うので、詳細に説明していきます。最後まで読めばこ
追跡しやすいログ出力を実現する - Qiita
サービス運用をしていくうえで、ログはとても重要です。 どういった操作がされているのか、どういったことが起こっているのか。運用しているサービスを調べる方法として、「実際のデータを確認すること」と「ログを確認すること」しかできません。 「データを確認する」ことは、問題があった時に原因が分からず、どうにかして確認するための最終手段となります（個人情報を含むようなサービスであれば、そう簡単には見ることができないでしょう…）。 ということは、サービス運用の視点も踏まえたログ出力を心掛ける必要があります。 では、実際にログを取得しないといけない状態になったと仮定しましょう。どういったことができると 楽ができる(早く見つけられる) でしょうか。 追跡しやすいログ出力にする意味 ログを確認する時、多くの場合は下記の流れになると思います。 「何かが発生した時間」で絞り込み その出力内容と同じ処理であるログ出
console.logだけではないconsoleの使い方 - Qiita
フロントエンド開発にあたりconsole.log()は黄金のツールです。しかし、このconsoleオブジェクトにはもっと使えるメソッドがあります。正しく、そして効率よくデバッグを行うためにこのconsoleについて調べていきましょう。 console.logの問題 console.logだけを使っているとコードがconsole.logだらけになり、どのコードを実行しているのかわからなくなり、読みづらくなってしまいます。今日はconsoleで使える９の方法を紹介していきます！ console.table console.tableは表形式でデータを表示してくれるので読みやすいデータを出力することが可能になります。 const sweets = [ { id: 1, name: 'Ichigo Cake' }, { id: 2, name: 'Red Pudding' } ]; console
【JavaScript】Consoleの基本的な出力とグループ化 - Qiita
document.addEventListener('DOMContentLoaded', function() { console.log("test"); console.info("test"); console.warn("test"); console.error("test"); }, false); 出力結果 warnは警告マーク、errorはエラーマーク＋赤文字でログが出力される。 chromeの場合、logとinfoは違いがなくぱっと見ただけではどちらかわからないが、FirefoxとSafariの場合にはアイコンが付く。 また、chromeのデベロッパーツールを使用すればログの絞り込みをすることができる。 先ほどの出力結果の画像でDefault levelsと書いてあるプルダウンがあるが、ここで表示するログの絞り込みを行うことができる。 試しにwarningsのチェックを
console.log()だけのデバッグはやめよう
はじめに フロントエンドのWeb開発においてconsole.log()というのは非常によくお世話になります． しかしconsoleオブジェクトにはには他にもたくさんのインスタンスメソッドがあり，それらを使わずに開発を行うのは少しもったいないです． この記事では様々な機能を紹介していき明日から開発で使用していただければ嬉しいです． assert console.assert()は第一引数に論理式をとり，第二引数以降には任意のオブジェクトを取ります． 第一引数がfalseとなった場合，第二引数をコンソールに出力します． サンプル // assert const wishToSuccess = () => { return Math.random() < 0.5 } console.assert(wishToSuccess(), "失敗しました") 出力 log 一般的にログを出力するconso
JavaScriptでconsole.log()を使うのはやめよう - Qiita
もっと良い選択肢がある Photo by Hugo Rocha on Unsplash はじめに あなたは、console.log()をコードのデバッグによく使うJavaScript開発者ですか？それには何の問題もありません。でも、知らないかもしれませんが、consoleオブジェクトには他にも驚くべきメソッドが沢山あります。この記事では、その効果的な使用方法について説明したいと思います。 consoleオブジェクトを使用する理由 JavaScript の consoleオブジェクトは、ブラウザのデバッグコンソールにアクセスし、コードで使用した変数の値を出力できます。多くの場合、正しい値がコードに渡されているかデバッグするために使用します。 ほとんどの開発者は、console.log()を使用してブラウザコンソールに値を出力したことがあると思います。logは、consoleオブジェクトの1メ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSのログ管理ベストプラクティス
