異常値検出プラグイン fluent-plugin-anomalydetect を使ってみたのでそろそろ閾値を決めたい - 酒日記 はてな支店
異常値検知、素敵な響きですね！fluent-plugin-anomalydetect 作りました - PolyPeaceLight あらかじめ固定値でアラートの条件を決めておかなくても、通常と異なる数値変化を検出してアラートできたら大変嬉しい、ということでインストールして一週間ほど運用してみました。 fluent-agent-lite で送信されてくる nginx のアクセスログの数を対象 60秒間隔で集計 <match nginx.access.**> type copy <store> ... </store> <store> ... </store> <store> type anomalydetect tag nginx.anomaly.access_log tick 60 store_file /var/log/td-agent/anomalydetect.dat </store
Jubatus 0.4.0 リリース!!
新年あけましておめでとうございます。今増です。 2013/1/11 に Jubatus 0.4.0 をリリースしました。 0.3.4 から多くの変更が加えられておりますので、0.3系からバージョンアップする際にはご注意ください。 ( リリースノート もご覧ください)。 ...
fluent-plugin-anomalydetect 作りました - PolyPeaceLight
jubatusでも異常値検知がリリースされたばかりですが、簡単でメモリも食わずに異常値検知できるといろいろ捗るかなぁと思い、異常値検知のpluginを作りました。 rubygems github 一日動かしてみましたが、手元の環境では特にリークもなく、fluentd本体、このplugin、node.js expressを立ち上げ、abで適当に負荷をかけ続けましたが、全体で60MBくらいでした。 <match access.**> type anomalydetect tag anomaly.access tick 86400 </match> こんな感じで設定すると、tickで指定した時間(秒)にaccess.**に入ってくるデータ数を数えてそれの異常値をスコアリングします。 また <match access.**> type anomalydetect tag anomaly.acces
Tokyo.Rに行ってきた - いまんとこの最適解
Tokyo.R勉強会に行ってきました。 内容盛り沢山で、刺激的ですね。 個人的には時系列分析を行うxtsパッケージとgoogleVisとの連携が実践的に使えそうに思いました。 xts(zoo）のローリング機能はリサーチ（POS等の小売データなど）では有用ですし、googlevisとの連携は顧客によってはレポートとして魅力的ですね。 =＝＝＝＝＝＝＝＝＝＝＝＝＝＝（以下メモ）=＝＝＝＝＝＝＝＝＝＝＝＝＝＝ ○生存時間分析 -2種類の打ち切り（censered data) -ハザード関数 -ノンパラ、セミノンパラ、パラメト（共変量、分布の過程） -ノンパラ：確率分布を仮定しない（共変量、分布仮定しない） -経験分布（カプランマイヤー）、ハザード関数 -survival -surv,survfit -信頼区間推定→群間差分の検討？なのか？ -セミノンパラ：コックス比例ハザード -複数共変量の検討
異常行動検出入門 – 行動データ時系列のデータマイニング –
3. AGENDA ● 自己紹介 ● 異常行動検出 ● サイバー犯罪の検出 ● ナイーブベイズによる異常行動検出 ● 異常行動検出エンジン AccessTracer ● 応用例 ● 最後に
Tokyo r15 異常検知入門
12. 自己紹介 ● 名前 : 里 洋平 ● ID : yokkuns ● 職業 : データマイニングエンジニア
時系列分析による異常検知入門
2. AGENDA ● 自己紹介 ● 異常検知とは ● 3つの異常検知 ● 変化点検出 ● グラフ時系列の異常検知 ● 最後に
サーバ異常検知入門
7. サンプルデータの作成「df」コマンドを使用します。$ dfFilesystem 1K-ブロック 使用 使用可 使用% マウント位置/dev/vzfs 83886080 4738368 79147712 6% /none 262144 4 262140 1% /dev 8. こんな感じのシェルスクリプトを作って#!/bin/bashdatetime=`date ‘+%F %H:%M’`# 日付values=`df | awk‘/devvzfs/ {print $2“,”$3“,”$4}’`# 観測値echo $datetime,$values# まとめて出力cronで定期的に動かして、ログに保存$ crontab -l* * * * * ~/df.sh >> ~/df.log 2> /dev/null最初にヘッダを入れておくと良いかも$echo "datetime,blocks,use
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
異常行動検出入門（改）
異常検出
尤度ヒストグラムに基づく異常検出 | CiNii Research
リアルタイム解析 -スパイク・発作検出-
リアルタイムバースト検出手法の提案 | 日本データベース学会論文誌