はてなブックマーク

Deep Learning for Anomaly Detection: A Surveyを読んだので備忘録を残しておきます。 前半は 深層異常検知 (Deep Anomaly Detection; DAD) のアーキテクチャの分類や長所・短所の紹介でした。後編は DAD の様々な領域への応用についてですが, 膨大な参考文献のため実質リンク集となっています。文献を徐々に読み進めて内容を追記する予定です。 Deep Anomaly Detection (DAD) の応用領域 Intrusion DetectionFraud DetectionMalware DetectionMedical Anomaly DetectionDeep learning for Anomaly detection in Social NetworksLog Anomaly DetectionInternet o

Deep Learning for Anomaly Detection: A Surveyを読んだので備忘録を残しておきます。 異常検知の分野では Anomaly Detection : A Survey [V Chandola, 2009] が有名なサーベイ論文だと思いますが, 深層学習の台頭でアップデートされた部分も多く, 本サーベイ論文は良いガイドラインとなりそうです。References が膨大なため前編/後編に分けます。 導入 異常検知と新規性検知 深層異常検知 (Deep anomaly detection; DAD) 深層学習ベースの異常検知の様々な側面 DAD Models 異常検知における DAD アーキテクチャ その他の DAD 手法 DAD の相対的な長所と短所 補足: Anomaly Detection using One-Class Neural Networks

Learning to Rank について調べたことを備忘録として残しておきます。初学者のため, 詳細や不明な点は参考文献をご覧下さい。 ランキング問題 ランク学習 ランク学習のアプローチ LETOR ランキング問題 ランク学習の典型的なアプリケーションに文書検索システムがある。 システムは文書集合 D = {d_1, d_2, …, d_n} を保持している。クエリ集合を Q = {q_1, q_2, …, q_m} として, クエリ q_i が与えられると, システムはクエリを含む文書を検索しランク付けした文書のリストを返す。これはクエリと文書を引数に取る関数 f(q, d) でランキングモデル (ranking model) と呼ぶ。 ランク学習 ランク学習 (Learning to Rank; LTR) は一般にランキング問題を教師あり機械学習を用いて解く方法で, ランキング学習と

HTTP(S)サーバの負荷テストをしている中でネットワーク関連の Linux カーネルパラメータのチューニングについて興味を持ったので調べてみた。 参考文献は 詳解 システム・パフォーマンス の 10章 ネットワーク 10.8 チューニング 辺り。 環境は Ubuntu 14.04 ulimit(3) クライアントからの同時接続に対してサーバのファイルディスクリプタ数を上限を変えてみる。ファイルディスクリプタ数 (open files) は 1024 となっていた。 $ ulimit -a core file size (blocks, -c) 0 data seg size (kbytes, -d) unlimited scheduling priority (-e) 0 file size (blocks, -f) unlimited pending signals (-i) 7781

今回は UMAP で当ブログのアクセスログ (Nginx) を可視化してみます。実行環境は macOS 10.13, CPU 1.6GHz Intel Core i5, メモリ 8GB です。 次元削減のアルゴリズムは大きく2つのカテゴリに分類される。 データ内の距離構造を保持する手法 (e.g. PCA, MDS adn Sammon mapping) 大域的な距離の上で局所的な距離を保持する手法 (e.g. t-SNE, Isomap, LargeVis, Laplacian eigenmaps, diusion maps, NeRV and JSE) UMAP (Uniform Manifold Approximation and Projection) は多様体学習による可視化 & 次元削減手法で, t-SNE と同程度の可視化の質を持ちつつも高速に動作する。UMAP は t-SN

今回は pyspark.sql.DataFrame クラスの主要なメソッドを備忘録用にまとめてみました。 環境は macOS 10.13.3, Apache Spark 2.3.0 です。 データ構造の確認 射影・抽出 要約統計量 結合 統合 (連結) グループ化・集約 欠測値の確認・削除・補完 重複値の削除 置換・ソート サンプリング データ形式の変換 日時の変換 PySparkの起動 Spark は Download Apache Spark から DL できる。 $ export PYSPARK_DRIVER_PYTHON=ipython $ pyspark Python 2.7.11 |Anaconda custom (x86_64)| (default, Jun 15 2016, 16:09:16) Type "copyright", "credits" or "license"

今まで R パッケージユーザでしたが, 2018年は何かしら R パッケージを開発できたらと考えています。開発を行う上でRにおけるメタプログラミングの知識は必要と思い調べてみました。 表現式 表現式の捕捉 関数呼び出しの構築 表現式の評価 stats::lm() の仕組み モデルの更新 Rプログラミング本格入門 から R におけるメタプログラミングについて言及している箇所を引用する。 メタプログラミングによって, 言語そのものに手を加えて, 特定のシナリオで使われる特定の構文を簡単に作ることができる. メタプログラミングによって柔軟性の高いプログラミングを可能にする。R でメタプログラミングが活用されるのは主に非標準評価 （Non-Standard Evaluation; NSE） である。 まず, R でメタプログラミングを行う上で基本となる 表現式 (expression) について調

既に多くのLinuxディストリビューションで initシステム は SysV init や Upstart から systemd に移行が済んでおり, Ubuntu 15.04, CentOS 7, Debian jessie から default となっています。 もはや systemd を積極的に使わない理由はないのかもしれないですが, 最近いくつかの脆弱性 (CVE-2017-1000082, CVE-2017-9445 etc) の発見もあり SysV init のサービス起動スクリプトも中々捨てがたい気もします。現に shell script という気軽さからなのか /etc/init.d は未だ残っています。 今回は SysV init サービス起動スクリプトと systemd のサービスユニットファイルの最小限的な書き方を残しておきます。 環境は Ubuntu 16.04.0

最近公開された Fashion-MNIST データセットに対して t-SNE を試しました。環境は以下です。 macOS 10.12.6 CPU Core i5 1.6 GHz メモリ DDR3 8GB Python 2.7.13 SNE (Stochastic Neighbor Embedding) [1] は非線形次元削減の手法。サンプル間の類似度を条件付き確率で表現する。例えば, ある点 i から別の点 j との類似性は i を中心とするガウス分布で定義される i の近傍の中で見つかる j の条件付き確率 p(j|i) とする。全てのサンプルについて p(j|i) を求めた上で, 高次元空間上での i, j 間の類似度を pij とする。次元削減前後での条件付き確率の誤差を最小化 (なるべく確率分布が一致) するように勾配法で最適化する。分布間の近さを表す尺度として KLダイバージェ

Esprima / Escodegen / Estraverse を用いて, javascript code -> AST (esprima) -> javascript code (escodegen) を試してみます。環境は OSX 10.10 / Node.js v4.0.0です。 Esprimaは JavaScript Parserで AST (Abstract Syntax Tree) という抽象構文木を取得できる。 MozillaのSpiderMonkey Parser APIがこれまで実質的な標準だったが, 亜種が増えてきてこれ以上の乱立を防ぐために The ESTree Spec という標準化に向かったよう。[1] ASTはaltJSやLintツールの開発など幅広く使われる。 ES2015(ES6)では, 改行可能な文字列リテラルの Template string が使える

Scrapy プロジェクトを Digdag でスケジューリングしてみたので導入の備忘録を残しておきます。 環境は MacBook Air (13-inch, Mid 2013), OSX 10.11.6 です。 Scrapy は Web Crawling / Scraping Framework で, mechanize や Beautiful Soup といった特定の機能を提供するライブラリと比べると多機能。 基本的な機能に加えて robots.txtポリシー, クロール間隔設定, リトライ処理, 並行処理, scrapydによるデーモン化 などもサポートしている。 Installation guide 通りで入ると思うが, 自分の環境 (OSX) では pip で上手くインストールできなかった。[1] 依存ライブラリやバージョンの不一致などの理由から conda でインストールを行う。

『Python機械学習プログラミング 達人データサイエンティストによる理論と実践』 第3章 分類問題 の 3.6 決定木学習に関連した内容です。 決定木をサポートしたライブラリは R だと {rpart} パッケージ, Pythonだと scikit-learn を初めとして数多くあります。当初は Go で書いてみようと思ったのだけど, その前にまず Python で書いてみようということで始めたら意外と時間を使ってしまったので Go は次回に回したいと思います。 なので今回の内容は, scikit-learn の DecisionTreeClassifier の Iris データに対しての分類器と同様の分類器を得る Python コードを書いてみる所までになります。 決定木は意味解釈可能性 (Interpretability) に配慮されたモデルで, 機械学習アルゴリズムの中でも事前の標

NumPyの mean と std を使う方法。 In [1]: import numpy as np In [2]: x = [1,2,3,4,5,6,7,8,9] In [3]: x_copy = np.copy(x) In [4]: x_std = (x_copy - x_copy.mean()) / x_copy.std() In [5]: x_std Out[5]: array([-1.54919334, -1.161895 , -0.77459667, -0.38729833, 0. , 0.38729833, 0.77459667, 1.161895 , 1.54919334]) In [6]: np.mean(x_std) Out[6]: 0.0 In [7]: np.std(x_std) Out[7]: 1.0 mean, std を使った方法は Pandas でもできる

pecoは標準入力をインクリメンタルサーチ可能にして選択した結果を標準出力に返すコマンドです。 OSX10.10.1, CentOS6.6, Ubuntu14.04, Windows8にpecoを入れてみました。 OSX 10.10.1 brewでインストールできます。 $ brew tap peco/peco $ brew install peco $ which peco /usr/local/bin/peco 使ってみます。 $ ls -l | peco $ ps aux | peco CentOS 6.6 $ cat /etc/system-release CentOS release 6.6 (Final) goの環境がなくて go get できなくても binary を配置すれば良い。 CPUアーキテクチャや最新のversionはここで確認します。 $ wget https:/

GStreamer は OSS (LGPL）の各種コーデックを搭載したマルチメディアフレームワークです。前回は ALSA の紹介をしましたが GStreamer でも alsa-library や alsa-core といった ALSA の機能を利用しています。 GStreamerのインストール GStreamerの基本機能 GStreamerを使ってみる GStreamerのインストール コマンドラインでコーデック機能, ファイルIO, 加工処理がプラグインによって行えます。 ストリーミングサーバとしての機能はプラグインで提供されています。本格的なストリーミングサーバを作る時は個人的には Live555 を使うことをオススメします。 プラグインは品質が高いものから good, bad, ugly に分類されています。ugly の使用にはライセンスや品質面で注意が必要です。 最新は 1.4

R で以下のデータソースからデータを読み込む方法を簡単に整理してみました。各パッケージの詳細については触れません。 CSV TSV JSON XLSX MySQL Amazon S3 R Object CSV ファイルサイズの小さい CSV (Comma-Separated Values) であれば, utils::read.csv でも良いと思うが, サイズが大きい場合は {data.table} の fread() や {readr} の read_csv() が高速。 data.table は data.frame の多くを継承したデータ型で, バイナリサーチを用いた高速検索が特徴のひとつ。 library(data.table) baseball <- fread("data/baseball.csv", header = TRUE) data.table::fread の引数 に

回帰問題で TensorFlow を使いたかったので自分用にメモを残しておきます。 ちなみに 分類問題での TensorFlow の使い方は, 公式のtutorials が充実しています。 環境構築 環境は OSX 10.11.3, CPU 1.3 GHz Intel Core i5, メモリ 4 GB DDR3 で, tensorflow をインストールする。 $ sudo pip install --upgrade virtualenv $ virtualenv --system-site-packages ~/tensorflow $ source ~/tensorflow/bin/activate $ pip install --upgrade tensorflow # $ pip install --upgrade tensorflow-gpu 改めて書く必要はないかもしれないが

ADVI in Stan は既に多くの方が試されているのですが, まずは触って理解したいのもあり試してみました。 ちなみに今まで Stan Code をインラインで書いていましたが, ATOM の language-stan を使ったら Stan の syntax highlight がいい感じだったので別ファイルから読み込むようにしました。 ADVIとは 2015年に発表 [1] された ADVI (Automatic Differentiation Variational Inference, 自動変分ベイズ) は 変分下限や近似分布を与えなくても自動的に事後分布の最もよい近似分布を KLダイバージェンス で探索して, その近似事後分布からのサンプルを得ることができる。サンプルが得られれば, MCMC同様に性質を調べることで知りたいパラメータを推定できる。既に Stan に実装があり,

『入門 機械学習による異常検知―Rによる実践ガイド』を読了したので簡単なメモ。グラフが中心ですが Codeは GitHub にあります。 Rというかプログラミング知識に関しては, ほとんど必要しないと思いますが, 本書に掲載されている Codeは(紙面的な制約だと思いますが)部分的であるので少し注意が必要です。 私は初学者のため本記事の内容に間違いもあると思われます。見つけたら, ご指摘ください。 1. 異常検知の基本的な考え方 1.1 例題：健康診断 1.2 計算機に判定規則をつくらせたい 1.3 「確率分布」で正常パターンをつかむ 1.4 機械学習で確率分布を求める 1.5 やりたいことを具体的に整理する 1.6 異常の度合いを数値で表す 1.7 いろいろな手法を試してみる 機械学習で異常検知を行うとは, 異常or正常を区別するような知識を, 機械学習の手法を用いて過去のデータから計算

SVMで有名なカーネル法ですが, 今回はカーネル法を用いた カーネルPCA, カーネルCCA を R で実践してみました。参考にさせて頂いた書籍はカーネル法入門―正定値カーネルによるデータ解析 (シリーズ 多変量データの統計科学)で, 内容は 1章 カーネル法への招待, 3章 カーネル法の実際 についてですが, 数学的な話には触れないので本書をご覧ください。 カーネル法はデータの高次モーメントを有効に抽出しつつ計算を効率化する非線形変換の方法論で, データ分析の前処理やノイズ除去などに使われる。SVMが牽引する形で急速に広がり, 応用は下記のように多岐にわたる。 サポートベクターマシン (SVM) カーネル主成分分析 (Kernel-PCA) カーネル正準相関分析 (Kernel-CCA) カーネルFisher判別分析 カーネルK-means カーネルPLA カーネルロジスティック回帰 カ

この記事は Python Advent Calendar 2015 19日目の記事です。 MC法 (Monte Carlo Method) からスタートして, MCMC (Markov Chain Monte Carlo) を Python で書いてみます。 MC法による円周率の近似計算 MC法 (Monte Carlo Method)は乱数を利用した計算アルゴリズム。 MC法の hello world 的な例題として, 円周率の近似値を計算する。 import numpy as np import matplotlib.pyplot as plt def main(): N = 100000 x = np.random.uniform(-1.0, 1.0, N) y = np.random.uniform(-1.0, 1.0, N) inside_circle = [] for i in

確率的勾配降下法を書こうと思い, 学習の参考となる実装を Webで探してみると Python実装が多く, 中でも NumPy, Matplotlibを使っている例が多かった。[1] せっかくなので Go (1.4.1)で書いてみようと思い Goで NumPyにあたる行列計算パッケージと Matplotlibにあたるプロット系のパッケージを探していたところ, gonum/matrix と gonum/plotが, 良さそうで触ってみた。 gonum/matrix gonum/matrix はGoの行列計算パッケージ。内部的には blas (Basic Linear Algebra Subprograms)を使っている。 numpy との対応関係を探すのに時間がかかってしまった。Dense, Matrix, Vectorあたりの型を覚えないと上手く使いこなせないかも。 行列積, 要素積, 内積

前に書いた【MSGD】Goで確率的勾配降下法を書いてみた【gonum/matrix】 の続きで goroutine で MSGD (Mini-batch Stochastic Gradient Descent)を並行処理化してみました。 参考にさせて頂いた書籍は, オンライン機械学習 (機械学習プロフェッショナルシリーズ)です。 確率的勾配降下法の並列化 前回は Minibatch に分割して Minibatch単位で パラメータを更新する MSGD を書いた。 確率的勾配降下法 (に限らずオンライン学習に関する最適化手法?) の並列化について, 大まかに下記の3つのアプローチがある。 Bulk Synchronous Parallel（BSP) : 各プロセスが1回同期するたびに全体を同期する Parallel SGD : 各プロセスで学習し, 最後に1度だけパラメータベクトルの平均を計

Gojiとmgoを使って1時間くらいで超簡易API Serverを作ったのでメモ。 動機はGolangを最近書いてなかったので書きたくなった…くらいしかないです。 環境は Ubuntu 14.04で Golang 1.4を入れました。 $ wget https://storage.googleapis.com/golang/go1.4.linux-amd64.tar.gz $ sudo tar zxvf ~/go1.4.linux-amd64.tar.gz -C /usr/local $ vim ~/.bashrc export GOROOT=/usr/local/go export GOPATH=$HOME/go export PATH=$PATH:$GOROOT/bin:$GOPATH/bin $ go version go version go1.4 linux/amd64 Goji

Perceptron (Rosenblatt, 1958) を1年半前に書いてから, だいぶ時間が経ってしまいましたが, 今回はその続きで Go で PA, PA-I, PA-II, CW, AROW, SCW-I, SCW-II を書いてみたのでメモリます。 PA, CW, AROW, SCWの総まとめ的な論文 Exact Soft Confidence-Weighted Learning にアルゴリズムがまとまっています。 PA (Passive-Aggressive) PA (Crammer et al., 2006) [1] は, 損失関数にSVMでも使われているヒンジ損失を用いる。 最適化問題は, ヒンジ損失が 0 となる制約の元でこれまでに得られている重みに近い重みを選択する。ただし, ヒンジ損失が 0 となる制約は強く, 急に重みが変動してしまうので, PA-Iでは罰則項を線