キーワードベースのログ監視からの脱却を目指して、ログクラスタリングによるパターン毎の出力頻度ヒートマップ化を試してみるPythonmonitoring機械学習MachineLearningscikit-learn ログの監視といえば、特定のキーワード(例えばErrorという文字列とか、Warningという文字列とか)をベースに監視ツールで検知させるといったことを実施するのが一般的かと思います。 ただ、この対処をするには、どういったログが出力されるのかを予め知っておく必要があり、その条件を決めるのもなかなか大変なのではないでしょうか。 そのようなケースに対し、もう少し分析技術の要素を取り入れて異常な状態に気づけるようにするアプローチを考えてみます。 試したこと 今回試したのは、ログをgensimのdoc2vecでベクトル化し、k-meansでクラスタリング。 さらにそれを時間毎に区分けして各

あらまし 仕事中、開発機から出力される、 自分以外の人が入れた フリーフォーマットなログを解析することがよくある。 毎回それに合わせてログ解析コードを書くわけだが、何度もログ解析をするうちに捗るテンプレートとテクニックができたので展開する。 テンプレートコード #!/usr/bin/env python3 import sys,re for line in sys.stdin: # 標準出力から読み込む line = line.strip() # 行頭、行末の空白、改行は削っておく print(line) たったこれだけ！ 上記コードはPython3で書かれているが、Python2でもShebangとprint関数がprint文になる以外は変わらない。 使用例とテクニック テンプレを用いて、行の解析や集計を行ってみる。 #!/usr/bin/env python3 import sys,r