Anomaly Detection in Streams with Extreme Value Theoryを読んだ - yasuhisa's blog
Anomaly Detection in Streams with Extreme Value Theory Amossys-team/SPOT: SPOT algorithm implementation (with variants) KDD2017の異常検知の論文です。異常検知を行なうとき、何らかの閾値を設定しますがこの閾値の決定は難しいことが多いです(そして精度にはよく効いてくる...)。正規分布のように理論的によく知られていて、解析的にも扱いやすいような分布では、累積分布関数を逆に辿ると「99.9%に対応する閾値はこれ!」と設定することができます。しかし、確率分布を陽に仮定するとそれ以外の分布ではきちんと動かなかったり、データ毎にモデル化をする必要があります。陽に確率分布を仮定しない方法もありますが、そちらはデータが少ないor厳しめのパーセンタイルを指定したいときに難しさがありま
Anomaly Detection in Streams with Extreme Value Theory
Alban Siffer (IRISA);Pierre-Alain Fouque (IRISA);Alexandre Termier (IRISA);Christine Largouët (IRISA) Abstract Anomaly detection in time series has attracted considerable attention due to its importance in many real-world applications including intrusion detection, energy management and finance. Most approaches for detecting outliers rely on either manually set thresholds or assumptions on the dis
Multi-task Multi-modal Models for Collective Anomaly Detectionを読んだ - yasuhisa's blog
勤労に感謝しながら読みました(論文, スライド)。いい論文をありがとうございます。 概要 基本的にはSparse Gaussian Markov Random Field Mixtures for Anomaly Detection(ICDM 2016)の素直な拡張だと思います。式は少しゴツいですが、拡張を順番に追っていくと大丈夫。拡張のされ方は以下のようになっています。 次元数がある程度高いような場合、どの事例が外れ値か分かるだけでは不十分。どの次元がいつもと異なる動きをしているか教えて欲しい Gaussian Markov Random Field(GMRF) GMRFだけではシステムが状態を一つしか取らないような状況にしか対応できない。昼/夜、停止中/運転中/高速を運転中などいくつかの状態を通常状態として取り得る場合にも対応したい Gaussian Markov Random Fie
グラフィカル Lasso を用いた異常検知
多変数の間の直接相関をスパース推定する手法であるグラフィカル Lasso と、その異常検知への応用についてまとめました。
A Comparative Evaluation of Unsupervised Anomaly Detection Algorithms for Multivariate Data
Anomaly detection is the process of identifying unexpected items or events in datasets, which differ from the norm. In contrast to standard classification tasks, anomaly detection is often applied on unlabeled data, taking only the internal structure of the dataset into account. This challenge is known as unsupervised anomaly detection and is addressed in many practical applications, for example i
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[PDF]Kuncheva (2008) Classifier Ensembles for Detecting Concept Change in Streaming Data: Overview and Perspectives
Stochastic Online Anomaly Analysis for Streaming Time Series | IJCAI
https://ide-research.net/papers/2009_DMSM_Ide.pdf
Robust Random Cut Forest Based Anomaly Detection on Streams