[DL輪読会]Understanding Black-box Predictions via Influence Functions
深層自己符号化器＋混合ガウスモデルによる教師なし異常検知
[DL輪読会]Understanding Black-box Predictions via Influence Functions
多次元時系列の異常検知手法 sGMRFmix について /sGMRFmix - Speaker Deck
All slide content and descriptions are owned by their creators.
Machine Learningで「他とは違う」イベントを検知する
二種類の異常検知 ElasticのMachine Learningは、二つの種類の異常を検知することができます。一つ目は「以前とは違う」という変化を異常としてとらえます。「オンライントランザクション数が急激に低下した」「ウェブサービスへのアクセス数が、平日の昼間としては非常に多い」などが例としてあげられます。この方法を説明したのが以前のブログポスト「ニューヨーク市のタクシー乗降データでMachine Learningを体験する」で、どなたでも入手可能なデータセットを使って、実際にお試しいただくことができます。もう一つの異常は「他とは違う」というもので、これを Population Analysis と呼び、大いに活用しがいがあります。「ウェブサービスへのアクセス数が非常に多いクライアント」を発見できれば、攻撃者やサービスのパフォーマンスへ影響を与えている迷惑なクローラーを特定することができ
Anomaly Detection in Streams with Extreme Value Theoryを読んだ - yasuhisa's blog
Anomaly Detection in Streams with Extreme Value Theory Amossys-team/SPOT: SPOT algorithm implementation (with variants) KDD2017の異常検知の論文です。異常検知を行なうとき、何らかの閾値を設定しますがこの閾値の決定は難しいことが多いです(そして精度にはよく効いてくる...)。正規分布のように理論的によく知られていて、解析的にも扱いやすいような分布では、累積分布関数を逆に辿ると「99.9%に対応する閾値はこれ!」と設定することができます。しかし、確率分布を陽に仮定するとそれ以外の分布ではきちんと動かなかったり、データ毎にモデル化をする必要があります。陽に確率分布を仮定しない方法もありますが、そちらはデータが少ないor厳しめのパーセンタイルを指定したいときに難しさがありま
異常検知ライブラリを作ってみた - Fire Engine
今回の記事は、前職消防士でゼロからプログラミングを始めた超未熟者の私が、異常検知ライブラリを作った話です。 なぜ作ったか マインド的背景 消防士を辞めてエンジニアに転職してから1年、いろんな技術に触れました。TensorFlow、scikit-learn、Dockerなどなど、必死になって使い方を覚えました。しかしだんだん、「これ、コマンド覚えてるだけで自分に何も技術身についてなくない？」という疑問や焦りが湧いてきて、自分は便利なツールを使いこなせるようになりたいんじゃなくて、いつの日かみんなが使って便利なツールを作る側になりたいんだ、ということに気づきました。そのような思いから今回初めてライブラリを作り、公開してみました。 データサイエンス的背景 世の中は時系列データで溢れています。ビジネスの場において、データの何かしらの変化の兆候を捉えて、いち早く意思決定をしたいという場面がよくありま
ODDS – Outlier Detection DataSets
In ODDS, we openly provide access to a large collection of outlier detection datasets with ground truth (if available). Our focus is to provide datasets from different domains and present them under a single umbrella for the research community. As such, we arrange the datasets based on their types into different tables in the order as listed below. [read more about ODDS] Multi-dimensional point da
R実践 機械学習による異常検知 01
2. 1 題材 • 井手 剛（2015）, 『入門 機械学習による異常検知－ Rによる実 践ガイド －』, コロナ社 – 著者は下記書籍の訳者の一人でもあります • 『パターン認識と機械学習』 第12章（下巻） • 『統計的学習の基礎 ―データマイニング・推論・予測―』 第6章 3. 2 目次 • 1 異常検知の基本的な考え方 • 2 正規分布に従うデータからの異常検知 • 3 非正規データからの異常検知 • 4 性能評価の方法 • 5 不要な次元を含むデータからの異常検知 • 6 入力と出力があるデータからの異常検知 • 7 時系列データの異常検知 • 8 よくある悩みとその対処法 4. 3 著者からのひとこと • 本書の最大の目的は、異常検知の基本技術を完全に理解することです。 「完全に」というのは、データの表し方から始まって、 異常度の計算の仕方ま で曖昧さなく理解できるということで
多変量統計的プロセス管理(Multivariate Statistical Process Control; MSPC)の解説
多変量統計的プロセス管理とは？ 統計的プロセス管理 (SPC) 生産プロセスは，指定された仕様を満たす製品を安定して生産できるように維持管理されなければならない．仕様は製品品質に対して定められるため，品質が仕様を満たしているかどうかは，品質測定値を監視することによって確認できる．ところが，品質監視によって，仕様を満たさない製品を見付けることはできても，仕様を満たさない製品が生産されるのを防ぐことはできない．製品品質は生産プロセスの運転の結果であるから，プロセスの運転状態が品質を決める要因となっているはずである．したがって，仕様を満たさない製品が生産されてしまうことを未然に防ぎ，生産性を向上させるためには，品質のみならず，運転状態を監視する必要がある．統計的手法を利用して運転状態の監視を効率的に実施するための方法が，統計的工程管理あるいは統計的プロセス管理（Statistical Proce
深層学習 を 用いた 異常値検知 手法まとめ 〜 (Denosing) AutoEncoder, LSTM, TDA（Topological Data Analysis) + CNN - Qiita
オーソドックス な アプローチ（一般的手法） まず は、以下 が よくまとまっている。 株式会社クロスコンパス・インテリジェンス（2016.10.5）「NVIDIA GPU TECHNOLOGY CONFERENCE JAPAN 2016 Industry Deep Learning」 異常値予測 を 行う アプローチ としては、以下 が 一般的な考え方 の ようだ。 （データ量の多い）正常時のデータ挙動の特徴パターンを学ばせて、 新規データが上記の特徴パターンから乖離している場合を、異常とみなす 上記のアプローチをとる理由 は、「異常発生時のデータ」の取得可能件数 は、「正常時のデータ」 に 比べて、取得できるデータの件数 が 圧倒的に少ない から である。 上記のスライド で 挙げられている AutoEncoderモデル や LSTMモデル を 採用し、 AutoEncoderモデル
Rで異常検知(2): 正規分布に従うデータからの異常検知（ホテリング理論・MT法） - 渋谷駅前で働くデータサイエンティストのブログ
さて、気紛れから始まったこのシリーズですが。今回は第2章を取り上げます。 入門 機械学習による異常検知―Rによる実践ガイド 作者: 井手剛出版社/メーカー: コロナ社発売日: 2015/02/19メディア: 単行本この商品を含むブログ (4件) を見る 多変量かつ非正規データの異常検知は少し後の方になるので、例のwater treatment plantのデータセットを持ち出すのは後回しにして、今回は適当に生成したデータセットを使うことにしました。 ちなみに、今回のシリーズではあまりあれこれ引用しまくると引用の範囲を超えてしまいそうな気がしたので（笑）、要点をちろっとまとめてRスクリプトを並べるだけに留めておきます。故に、皆さんご自身がお手元で試される場合には必ず井手先生のテキストをご用意下さい、ということで。 ホテリングの（1次元） これはオーソドックスに正規分布する1次元のデータの中か
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
