異常値検出プラグイン fluent-plugin-anomalydetect を使ってみたのでそろそろ閾値を決めたい - 酒日記 はてな支店
異常値検知、素敵な響きですね！fluent-plugin-anomalydetect 作りました - PolyPeaceLight あらかじめ固定値でアラートの条件を決めておかなくても、通常と異なる数値変化を検出してアラートできたら大変嬉しい、ということでインストールして一週間ほど運用してみました。 fluent-agent-lite で送信されてくる nginx のアクセスログの数を対象 60秒間隔で集計 <match nginx.access.**> type copy <store> ... </store> <store> ... </store> <store> type anomalydetect tag nginx.anomaly.access_log tick 60 store_file /var/log/td-agent/anomalydetect.dat </store
Jubatus 0.4.0 リリース!!
新年あけましておめでとうございます。今増です。 2013/1/11 に Jubatus 0.4.0 をリリースしました。 0.3.4 から多くの変更が加えられておりますので、0.3系からバージョンアップする際にはご注意ください。 ( リリースノート もご覧ください)。 ...
fluent-plugin-anomalydetect 作りました - PolyPeaceLight
jubatusでも異常値検知がリリースされたばかりですが、簡単でメモリも食わずに異常値検知できるといろいろ捗るかなぁと思い、異常値検知のpluginを作りました。 rubygems github 一日動かしてみましたが、手元の環境では特にリークもなく、fluentd本体、このplugin、node.js expressを立ち上げ、abで適当に負荷をかけ続けましたが、全体で60MBくらいでした。 <match access.**> type anomalydetect tag anomaly.access tick 86400 </match> こんな感じで設定すると、tickで指定した時間(秒)にaccess.**に入ってくるデータ数を数えてそれの異常値をスコアリングします。 また <match access.**> type anomalydetect tag anomaly.acces
異常行動検出入門（改）
【第40回AIセミナー】 「説明できるAI 〜AIはブラックボックスなのか？〜」 https://www.airc.aist.go.jp/seminar_detail/seminar_040.html 【講演タイトル】 機械学習モデルの判断根拠の説明 【講演概要】 本講演では、機械学習モデルの判断根拠を提示するための説明法について紹介する。高精度な認識・識別が可能な機械学習モデルは一般に非常に複雑な構造をしており、どのような基準で判断が下されているかを人間が窺い知ることは困難である。このようなモデルのブラックボックス性を解消するために、近年様々なモデルの説明法が研究・提案されてきている。本講演ではこれら近年の代表的な説明法について紹介する。
Tokyo.Rに行ってきた - いまんとこの最適解
Tokyo.R勉強会に行ってきました。 内容盛り沢山で、刺激的ですね。 個人的には時系列分析を行うxtsパッケージとgoogleVisとの連携が実践的に使えそうに思いました。 xts(zoo）のローリング機能はリサーチ（POS等の小売データなど）では有用ですし、googlevisとの連携は顧客によってはレポートとして魅力的ですね。 =＝＝＝＝＝＝＝＝＝＝＝＝＝＝（以下メモ）=＝＝＝＝＝＝＝＝＝＝＝＝＝＝ ○生存時間分析 -2種類の打ち切り（censered data) -ハザード関数 -ノンパラ、セミノンパラ、パラメト（共変量、分布の過程） -ノンパラ：確率分布を仮定しない（共変量、分布仮定しない） -経験分布（カプランマイヤー）、ハザード関数 -survival -surv,survfit -信頼区間推定→群間差分の検討？なのか？ -セミノンパラ：コックス比例ハザード -複数共変量の検討
Tokyo r15 異常検知入門
12. 自己紹介 ● 名前 : 里 洋平 ● ID : yokkuns ● 職業 : データマイニングエンジニア
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
異常検出
尤度ヒストグラムに基づく異常検出 | CiNii Research
リアルタイム解析 -スパイク・発作検出-
リアルタイムバースト検出手法の提案 | 日本データベース学会論文誌
異常行動検出入門 – 行動データ時系列のデータマイニング –
時系列分析による異常検知入門
サーバ異常検知入門