Factorization Machines (ICDM 2010) 読んだ - 糞糞糞ネット弁慶
Factorization Machines (pdf) Factorization Machines with libFM (TOIS, pdf) CriteoやAvazuの Click-through rate コンペでも良い成績を残している (GitHub - guestwalk/kaggle-2014-criteo, GitHub - guestwalk/kaggle-avazu) Field-aware Factorization Machinesを知る前にまずは Factorization Machnes (以下FM) の論文を読む事にした． FMの紹介は他の人(Factorization Machinesについて調べてみた，Matrix Factorizationとは)も既に書いているが，それらを読んでもどうにも自分にはピンとこなかった．具体的には， 交互作用を考えようとする
Scikit learn 識別器のいろいろ - Qiita
# -*- coding: utf-8 -*- import numpy as np import matplotlib.pyplot as plt %matplotlib inline from matplotlib.colors import ListedColormap from sklearn.cross_validation import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.datasets import make_moons, make_circles, make_classification from sklearn.neighbors import KNeighborsClassifier from sklearn.svm import SVC from
Hierarchical Softmaxの性質 - Qiita
これはHierarchical Probabilistic Neural Network Language Model に登場するHierarchical Softmax(以降hSm)について簡単に書くものです． 分類問題(特にsoftmax関数)に関する基本的な知識を必要とします．あとハフマン木がどのように構成されるかについて知っている方と理解がスムーズに進むかと思います． 手法の背景 Neural Networkを用いて文字列の生成をする場合，一般にラベル(単語)の予測にはSoftmax関数が用いられる．Softmax関数は$m_l = \langle \mathbf{w}_l, \mathbf{x} \rangle$とした時， で定義される関数である．自然言語で語彙を考える場合，辞書は数万単位のサイズになる．そのため，$Z=\sum_k^K exp(m_k)$の計算が非常にハイコスト
マルチラベル分類器の評価指標(Micro-F1/Macro-F1)の振る舞い - Qiita
##概要## 機械学習で分類問題をするときに、複数のラベルについての予想をしたい場合があります。この際にも分類問題と同じようにRecall, Precision, F値を使用するようです。例えばScikit-learnにも同様に関数は実装されていますし、マルチラベルに対応しています。ただマルチラベルのF値については binary micro macro weighted samples など、様々な指標が存在するようです。そこで、論文で多く使われているように見えるmicro-F1とmacro-F1が学習データの変化でどう振る舞うのか調べてみました。Excelで(出落ち)。 なお、micro-F1とmacro-F1の計算方法についてはsa-wa-mさんの分類器の学習方法と評価方法1(指標の説明)に纏められています。 ##パターン1:初期状態## 計算結果が1000事例、クラスが10個で、各ク
Import APIとFuzzy Hashingでマルウエアを分類する ～impfuzzy～(2016-05-09) - JPCERT/CC Eyes
Top > “マルウェア”の一覧 > Import APIとFuzzy Hashingでマルウエアを分類する ～impfuzzy～(2016-05-09) 一般に、マルウエア検体の調査は、既知のマルウエアかどうかを判別することから始めます。データベース化された多数の既知のマルウエアと調査検体との比較を高速に実行するために、ハッシュ関数をマルウエア検体に施して得られたハッシュ値が利用されます。 ハッシュ関数の中でも、MD5やSHA1などの伝統的なハッシュ関数の場合には、入力データが1ビットでも異なれば、まったく異なるハッシュ値になりますので、完全に同じではないが類似した既知の検体があれば、既知のマルウエアと判定したい場合には役に立ちません。 現在では、カスタマイズされた上で攻撃に使われるマルウエアがほとんどであるため、カスタマイズされた検体を類似していると判断できるようなハッシュ関数が望まれ
AdaGrad + RDAを実装してみた - Christopher-727の日記
AdaGrad + RDA 「結局オンライン最適化はAdaGrad1択だよね」 「AdaGrad + RDAでの分類が精度一番良いみたいです」 「AdaGrad + RDAの方が実装がはるかに簡単」 と立て続けに聞いたのでAdaGrad + RDA*1を理解するために実装してみた。 結論から言うと、確かに実装は簡単だし精度もでました。 損失関数と正則化項 AdaGrad自身は最適化手法です。すると適用するには最適化問題の形で記述する必要があります。 分類問題における定式化では損失関数と正則化項を足したものになります。今回の損失関数は ヒンジロスとなります。 は1 or -1のラベル、はベクトル空間上にマッピングしたデータです。 正則化項は-正則化、-正則化など色々有りますが今回は-正則化となります。 劣微分 で、最適化問題を解くわけです。今回はやの偏微分を用いるのですが、max関数や絶対値
実装が簡単で高性能な線形識別器、AdaGrad+RDAの解説 - EchizenBlog-Zwei
機械学習では、データがどのクラスに属するかを識別するという問題が基本的です。 この識別問題は線形識別器というモデルを使うことで解くことができます。 この記事では、実装が簡単で高性能な線形識別器、AdaGrad+RDAの解説を行います。 AdaGrad+RDAの詳細な解説は以下の論文を参考にしてください。 http://www.magicbroom.info/Papers/DuchiHaSi10.pdf こちらはAdaGrad+RDAの実装例です。 http://d.hatena.ne.jp/echizen_tm/20140726/1406376207 識別問題は、通常データを2つのクラスに分類します。どうやって分類するかというと、線形識別器が正の値を返したか、負の値を返したかでクラスを分けます。 具体的には、線形識別器は以下の形式をしています。 y = Σ(x_i * w_i) データを表
How do I train HMM's for classification?
So I understand that when you train HMM's for classification the standard approach is: Separate your data sets into the data sets for each class Train one HMM per class On the test set compare the likelihood of each model to classify each window But how do I train the HMM on each class? Do I just concatenate the data pertaining to one class together? But isn't the time series data meant to be sequ
機械学習超入門IV 〜SVM(サポートベクターマシン)だって30分で作れちゃう☆〜 - EchizenBlog-Zwei
ニーズがあるのかさっぱりわからない機械学習超入門だけどひっそり続けていきたい。 前回は識別関数の基礎であるパーセプトロンの簡単な説明とPerlによる実装を解説した。実はこの時点でかの有名なSVM(Support Vector Machine、サポートベクターマシン)もほぼ完成していたのだ！というわけで今回はSVMをPerlで作ってしまうお話。 参考: これからはじめる人のための機械学習の教科書まとめ - EchizenBlog-Zwei 機械学習超入門 〜そろそろナイーブベイズについてひとこと言っておくか〜 - EchizenBlog-Zwei 機械学習超入門II 〜Gmailの優先トレイでも使っているPA法を30分で習得しよう！〜 - EchizenBlog-Zwei 機械学習超入門III 〜機械学習の基礎、パーセプトロンを30分で作って学ぶ〜 - EchizenBlog-Zwei さて
実装して理解するオンライン学習器(1) - PassiveAggresive - About connecting the dots.
一言でいうと，最近流行のオンライン学習器を，アルゴリズムを理解しながら実装して動かして挙動を眺めてみようというシリーズです．例によって飽きたらいつのまにかフェードアウトしますが，気長にやっていこうと思っています．だいたいいつもRばっかり使ってますが，ちょっと込み入った処理を書こうとするとRだと辛いので今回はPythonです． 元ネタは以下の論文になります．レビューがコンパクトにまとまっていてわかりやすいです． Jialei Wang, Peilin Zhao, and Steven C. Hoi. Exact soft confidence-weighted learning. In Proc. of ICML 2012, pages 121–128, 2012. オンライン学習器 普通の機械学習は，訓練データをモデルに食わせてパラメタを学習します．学習済みのモデルは，もう一度モデル組み直
非線形分類器のミニバッチ分散オンライン学習器を実装してみた - ny23の日記
ソフトウェアをいろいろ更新した - ny23の日記 で紹介した， Minibatch and Parallelization for Online Large Margin Structured Learning, NAACL 2013 がようやく学会で発表されたようなので，非線形学習版の実装を置いておく．RBF カーネルを用いたオンライン学習器をミニバッチ＋並列化したもの．実装したのはもう二ヶ月ぐらい前（論文の pdf を著者が公開した直後）なのだけど，流石に学会発表前に実装を出すのは気が引けたので公開を先延ばしにしていた． // mpa1.cc ; GNU GPL version 2 copyright@id:ny23 #include <err.h> #include <cstdio> #include <cstdlib> #include <cstring> #include <c
Doc2Vecとk-meansで教師なしテキスト分類 - Qiita
人間が分類したデータを教師データとしてテキスト分類をしている際に人間がデータの間に介在することによる弊害が出てきたので、教師なしのテキスト分類器を作ってみました。 人間がラベル付けすることによる問題点 階層構造にあるデータを並列にラベル付ける 人によって大きく判断が違ってくるようなラベルをつける 作業開始時点と終了時点でラベルの付け方が変わる 参考資料 コンピュータビジョン最先端ガイド6 (CVIMチュートリアルシリーズ) Deep Learning Tutorials Distributed Representations of Sentences and Documents, Le+, 2014 やったこと Doc2Vecで各文書について他の文書との類似度ベクトルを作成 SVDで次元圧縮 k-meansでクラスタリング k-meansでなくてグラフアルゴリズムで分類した方が良かったな、
PythonでBag of WordsとSVMを使ったタイトルのカテゴリ分類 - stMind
cc licensed ( BY ) flickr photo shared by Loco Steve 週末に試そうのコーナー。 ちょうど良いチュートリアルがあったので、データセットを用意してやってみました。 問題 How can I get a computer to tell me what an article is about (provided methods such as bribery and asking politely do not work)? ある記事が何について書かれているのか、コンピュータに理解させるにはどうすれば良いか? チュートリアルでは手動で作ったデータを使って犬もしくはサンドイッチの2クラス分類をしています。 ここでは、Google NewsでiPadのニュース、ソチ五輪のニュースとカテゴリ分けされている記事のタイトルを使って、 あるタイトルがiPa
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - suhara/bit_knn: Yet another k-NN implementation with bit vector + popcnt
GitHub - jnishi/rda
GitHub - echizentm/Adam: Adam classifier.
schedule/2010-07-01 - 機械学習勉強会Wiki
Lec86_決定木とランダムフォレスト
jubatus-example/shogun/shogun.json at 12b4c7e09dfdd6deecbd263f7bd42c125b6e214f · hido/jubatus-example
http://www.magicbroom.info/Papers/DuchiHaSi10.pdf