異常検知技術を比較してみた（ルールベース, HLAC, PatchCore）
はじめに 異常検知AIソフトウェア・クラウドサービスを提供しているアダコテックでエンジニアをしているshin-ueです！ 今回は、弊社内で保有する電子部品を撮像した画像データに対して、異常検知を実施してみます。 そもそも異常検知って？ 異常検知における異常とは、みなさん何を思い浮かべますか？ 例えば、毎日休まず周期的な信号を出力してくれるシステムが一家に一台あったとします。 機械とよくケンカする僕みたいな人間は「ほんとうに周期的な信号だしてるのか！？」と疑いをかけてモニタリングしてしまいます。 t=9~11の出力値がいつもと違う変化をしているぞ・・・不良品だコイツこのやろう！（過激派） という感じで、「いつもの正常状態とは異なる状態」を異常と表現しています。 定期的に状態を監視し異常傾向を予兆してあげたり、異常状態を検出するような仕組みを作成し、異常発生したら関連システムにアラート信号を送
SIMD下座！？HLACを楽々ベクトル化！
これまでのお話 アダコテックではHLACという特徴量を用いた異常検知モデルを提供し、これまで3回に渡って要素技術を解説してきました。 世界一やさしいHLAC入門！(間違い探し編) 実は単純？良品学習入門！ ワンオペの限界っ！アンサンブルモデル入門！ 今回はちょっと毛色を変えて、私自身の興味があったHLACそのものに関する実装の話です！ 関連としてはCTO紹介の下記の濃淡HLACを対象として t-ibe先生の処理高速化まわりの記事に関連します。 CPUかGPUか パソコンで計算をするという行為はかつてCPU(Central Processing Unit) の役割でしたが、GPGPU(General Purpose computing with Graphical Processing Unit) という概念の登場により、GPUも汎用計算部の一つとして扱うことが近年では一般的です。汎用計算部
DeepAutoEncoderを利用した画像、時系列データの異常検知入門(keras編) - istyle Tech Blog
この記事はアイスタイルアドベントカレンダー の13日目の記事です。 はじめに こんにちは。 7月からアイスタイルに中途入社しました、R&Dのkawakamikです。 毎日@cosmeのデータをこねくり回してあーでもないこーでもないと業務を進めています。 こねくり回しているデータは膨大なので、極稀に変則的なデータも存在します。 こういったデータは異常値として自動的に検出できればいいなあ… という流れで、DeepAutoEncoderを利用した異常データ検出入門について書きます。 DeepAutoEncoderとは AutoEncoderの層を増やしたニューラルネットワークです。 入力、出力を同一のデータ、中間層のサイズを入力層、出力層より小さいサイズにすることで、 DeepAutoEncoderは情報量を圧縮する方法を学習します。 この技術を利用し、画像の異常検知と時系列データの異常検知を行
スパースモデリングの画像処理への発展的な応用～欠損補間、異常検知、超解像
画像の欠損補間 実世界の問題において、データが欠損していることが多々あります。そのような場合にも、スパースであるという仮定をうまく利用することで、データの欠損を補間することができます。 前回、画像の再構成について紹介したとき、自然画像をパッチに区切って辞書学習を行うと、各パッチは得られた辞書を用いてスパースに表現できることがわかりました。実はこの辞書とスパース表現は、学習画像に、ある程度欠損があったとしても、うまく求めることができるのです。 なぜ、そんなことが可能かというと、例えば100変数の連立方程式を考えたときに、式の数は100個あれば全ての変数の値を決定できます。データとして10000個方程式があったとしても、そのうちの1％だけを使って連立方程式を解くことができます。また、方程式の解がほとんど0であるとわかっている場合も少数の方程式から解が得られることが知られています。つまり、100
【まとめ】ディープラーニングを使った異常検知 - Qiita
ディープラーニングを使った異常検知が進歩していますが、最新情報を追うのが大変です。 ここでは、最新情報をまとめておきます（随時更新）。 本稿では、以下の内容を記します。 ディープラーニングを使った異常検知について、簡単に歴史をまとめます。 最新の手法（2019年当時）について、ベンチマークを行います。 歴史 完全に独断と偏見で作った歴史です。 全ての論文は読めていないので、ご了承ください。 【～2017年】オートエンコーダによる異常検知 オートエンコーダによる異常検知 2、3年前はオートエンコーダによる異常検知が主流でした。オートエンコーダでは、元画像と再構築画像との差をとって、その和が大きいとき異常と認識させています。Qiitaの記事でも、オートエンコーダによる異常検知はたくさんありますので、気になる人は探してみてください。 Variational AutoEocoder（VAE）による
教師なし学習によるMackerelの異常検知機能について�〜設計/運用/評価の観点から〜
Machine Learning Casual Talks #10での登壇資料です https://mlct.connpass.com/event/125316/Read less
Krylov部分空間を導入して特異スペクトル変換による異常検知の処理を高速化した - Fire Engine
1年くらい前に特異スペクトル変換法による異常検知ライブラリを作ったんですが、作ったっきり放置していたので、開発当初からやりたかった計算の高速化処理を書きました。 ずっと放置してた割にはちょいちょいGitHubのスターを押してもらえてて、データサイエンスの流行を感じた。自分ももう一回ちゃんと学び直していこうという気になったので、まずは昔書いたやつの拡張からやっていく。 【目次】 特異スペクトル変換とは？ Krylov部分空間の導入 検証結果 さいごに 参考 特異スペクトル変換とは？ 特異スペクトル変換法の特徴については以前のブログに書いているので、ぜひそちらも読んでください。 特異スペクトル変換法の全体像は以下のようになっています。 出典：上の図は井手剛氏の著書「入門 機械学習による異常検知―Rによる実践ガイド」のP200 図7.4を元に作成しました。 図のように過去と今のパターンを行列とし
異常検知の最新事情と給与の話
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
アプリログの自動異常検知を試してみた~密度比による異常検知入門~ - Gunosyデータ分析ブログ
Gunosyデータ分析部アルバイトの鈴木です。今回は密度比を利用したバージョンリリースにおける異常検知について学んだことをまとめたいと思います。 やりたいこと 超長期的にやりたいこと 密度比を用いた異常検知のイメージ ダミーデータでの実装例1 今回試したやり方 今後試していくやり方 ダミーデータでの実装例2 密度比の平均二乗誤差を用いる場合 直接密度比推定する場合 参考資料 やりたいこと ニュースパス（Gunosyの提供するプロダクトの一つ）をバージョンアップした時に、もし異常があればユーザーアクションログからその兆候を見つけてslackなどに通知できるようにすることが目標です。 （QA項目以外でのログ欠損やアップデートによる予期せぬユーザ行動の検知をするためです。） 現在Gunosyでは、バージョンアップ時に異常がないかどうか調査するために人手を割いています。しかし、もし自動で異常を確実
異常検知ライブラリを作ってみた - Fire Engine
今回の記事は、前職消防士でゼロからプログラミングを始めた超未熟者の私が、異常検知ライブラリを作った話です。 なぜ作ったか マインド的背景 消防士を辞めてエンジニアに転職してから1年、いろんな技術に触れました。TensorFlow、scikit-learn、Dockerなどなど、必死になって使い方を覚えました。しかしだんだん、「これ、コマンド覚えてるだけで自分に何も技術身についてなくない？」という疑問や焦りが湧いてきて、自分は便利なツールを使いこなせるようになりたいんじゃなくて、いつの日かみんなが使って便利なツールを作る側になりたいんだ、ということに気づきました。そのような思いから今回初めてライブラリを作り、公開してみました。 データサイエンス的背景 世の中は時系列データで溢れています。ビジネスの場において、データの何かしらの変化の兆候を捉えて、いち早く意思決定をしたいという場面がよくありま
異常検知のための未来予測：オウム返し的手法からHolt-Winters Methodまで
Holt-Winters Method（別名: Triple Exponential Smoothing）というデータの予測手法がある。これについて素晴らしい解説記事があるので読みながら実装していた。 コードは takuti/anompy にある。 この手法、Graphite が実装しているということもあり、近年ではDevOpsコミュニティを中心に一躍有名になったんだとか。 ここでは解説記事の内容に沿って、Holt-Winters Method に至るまでに知っておくべき手法たちの“気持ち”をまとめる。数式は元記事やWikipediaに譲る。 問題 『連続するN点の時系列データを観測していたとき、N+1点目の値を予測する問題』を考える。 もし次の瞬間の値が予測できれば、そこからデータの“異常”を察知することができる。 たとえばDatadogなどで監視しているシステムのメトリクスを対象とすれ
Rで異常検知(3): 非正規データからの異常検知（カーネル密度推定・EMアルゴリズム・K-means・1クラスSVM） - 渋谷駅前で働くデータサイエンティストのブログ
（注：ただの備忘録ゆえ、ほぼ確実に後で追記が出る見込みです） 今回はコロナ社井手本の第3章を取り上げます。 入門 機械学習による異常検知―Rによる実践ガイド 作者: 井手剛出版社/メーカー: コロナ社発売日: 2015/02/19メディア: 単行本この商品を含むブログ (4件) を見る とは言っても全部丸写しするのはさすがに問題があるので、個人的に興味のあるトピックスだけを取り上げて、なおかつあくまでも個人的な備忘録として記する程度に留めておきます。本格的に勉強したい方はちゃんとコロナ社井手本をお求めの上ご自身で独学するようにして下さい。 ということで、今回個人的に取り上げるのは第3章の中のカーネル密度推定とクラスタリングとSVMの箇所です。なおコロナ社井手本ではここでEMアルゴリズムそのものの説明もなされていますが、EMアルゴリズム自体はこのブログでも一度取り上げているので既知のものとし
Fitbitから取得した心拍データで時系列の異常検知を試してみる - About connecting the dots.
井出先生の「異常検知と変化検知」を読んで，自分でも試してみたいと思ったんですが，あいにくちょうどいい時系列データが手元にないなーと思ってました．そんな折，データサイエンスLT祭りの発表の中に，Fitbitデータを可視化するものがあって*1，これはちょうどいいということで試してみましたよというていのエントリになります． 異常検知と変化検知 (機械学習プロフェッショナルシリーズ) 作者: 井手剛,杉山将出版社/メーカー: 講談社発売日: 2015/08/08メディア: 単行本（ソフトカバー）この商品を含むブログ (2件) を見る Fitbitってなによ Fitbitが何かしらない人のために一応説明しておくと，最近はやりの活動量計です．私が持っているのは，心拍が取得できるタイプのやつです．風呂に入るとき以外は一日中つけっぱなしで，睡眠とか運動とかを自動で判定してくれるので，手間がかからず便利です
隠れマルコフモデルで異常検知（R Advent Calendar2012） - My Life as a Mock Quant
R Advent Calendar2012、2日目です。 Tokyo.R主催者である偉大なる我らがグル（尊師）@yokkunsが Tokyo r15 異常検知入門 from Yohei Sato というトークをしていた事に触発されて、R言語で使える”RHmm"パッケージを用いて異常検知してみましたよっていうお話。 詳細はRPubsにUPしているので↓をご参照ください。 RPubs - 隠れマルコフモデルで異常検知 モデルの背景についてはみんな大好きPRML（下巻）の１３章「系列データ」 が詳しいので興味があればこちらも参照すると良いと思います。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonの異常検知ライブラリPyOD（その1）