はじめに カブクで機械学習エンジニアをしている大串正矢です。今回は異常検知の基礎について書きます。 背景 異常検知の手法は多種多様に存在していますがウェブ上にまとまった情報が日本語でないため記述することにしました。ただ全ての内容をこの記事で記述すると長くなるため今回は基礎的な内容にフォーカスして記述します。この記事の内容をベースに他の異常検知に関する記事を記述する予定です。 異常検知の基本的なアプローチ 下記の3つのフェーズで構成されています。 分布推定 モデルを定義し、正常なデータから学習します。 異常度の定義 上記のモデルからのずれの度合いである異常度を定義します。 閾値の設定 異常度がある値より大きければ異常と判定できるような閾値を設定します。 ここからは簡単なケースとして正規分布を想定して書いていきます。 分布推定 正規分布の数式は下記のようになります。 \begin{align}
初めて目次を付けてみました。 新刊本絶賛渋滞中 機械学習の王道部門 Numpy, Pandas, Matplotlibなどの基本がやりたい部門 日本オリジナル部門 keras部門 Pythonの基本部門 新刊本絶賛渋滞中 オライリーのPythonベースで機械学習を取り扱っている本の出版(日本語翻訳化)の勢いはすごいですね。これを書いている今日(2018/8/17)もこの本が発売になり、早速入手しました。 直感 Deep Learning ―Python×Kerasでアイデアを形にするレシピ 作者: Antonio Gulli,Sujit Pal,大串正矢,久保隆宏,中山光樹出版社/メーカー: オライリージャパン発売日: 2018/08/17メディア: 単行本(ソフトカバー)この商品を含むブログを見る 半ば反射的に買ってしまう自分も自分ですが、同じオライリーでも似たような本が立て続けに出てお
Examining stats about your data can be helpful, but sometimes you need to find ways to visualize it too. Fortunately this data set only has one dependent variable, so we can toss it in a scatter plot to get a better idea of what it looks like. We can use the "plot" function provided by pandas for this, which is really just a wrapper for matplotlib. data.plot(kind='scatter', x='Population', y='Prof
方針 オンライン学習プラットフォームCourseraで一番人気の講座、Stanford大学のMachine Learning。講師はAndrew Ng先生。授業はレクチャーとプログラミング課題からなるが、プログラミング課題に使用する言語はOctaveまたはMatlabが指定されている。 このプログラミング課題をPythonを使って粛々と実装していく。ただし、 オリジナルの課題はアルゴリズムの理解を助けることを目的としているため、一部の処理は機械学習のライブラリを使用せずに自らコードを書くように設計されている。これをそのままPythonで再現するのではなく、できる限りPythonにある機械学習ライブラリを使って効率よく実装したい。 という方針。 さっそくex1 最初の課題となるex1では線形回帰(Linear Regression)をやります。レストランチェーン経営において、過去に出店した街
遅ればせながら,CourseraのMaechine Learning (Stanford University, by Andrew Ng)を受講している.もちろん説明動画も有益だが,このコースの良さを際立させているのが,毎回出されるプログラミングの課題である.ただMatlabのコードなので,後で復習できるようにPythonに書き換えたくなってきた.(他の方で,同じ取り組みの紹介例がInternetで見受けられる.) ここでは,"Coursera / Machine Learning"の教材を(Pythonで)2度3度楽しむやり方を紹介する.また関数最小化で用いる,scipy.optimize.minimize() について説明する. コスト関数とその導関数 Machine Learningの教材では,コスト関数を作成し,それを最小化するパラメータを探索する,というものが多い.Matlab
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く