AutoEncoder by Forest: ランダムフォレストをオートエンコーダとして使う
この前のShibuya.lispの懇親会で教えてもらった論文(AutoEncoder by Forest)を読んだのでcl-random-forest (解説記事)で再現してみた。 どうやらDeepForestの研究グループらしい。 どのような内容なのか一言でいうと、入力データがランダムフォレストの各決定木のどの葉ノードに入るかが分かれば、元の入力を再構成できるという話だった。つまり、エンコードは入力データから各決定木の葉ノードのインデックスを調べ、そのベクトルを出力することに対応する。逆にデコードは葉ノードから根ノードへ逆に辿っていき、入力の範囲を制限していき、最後にそこから代表値を選ぶことに対応する。エンコーダの訓練は通常のランダムフォレストでモデルを作るだけなので、GPUを使ったニューラルネットのオートエンコーダよりも100倍速いと主張されている。(なおデコード速度では負けている模様
Common Lispのランダムフォレストライブラリcl-random-forestで特徴量の重要度を出してみる
概要 UCIのAdultデータセットを予測する LIBSVM形式への変換 ランダムフォレストを構築 ランダムフォレストから特徴量の重要度を出す 番外: scikit-learnの場合 メモ: 上の図の作り方 (Lisp Advent Calendar 2017参加記事) 概要 ランダムフォレストは多くの特徴量を持つような大きなサイズのデータセットを現実的な計算量で学習できる便利なモデルであるが、その重要な特徴の一つに、「特徴量ごとの重要度を推測できる」というものがある。 Random Forestで計算できる特徴量の重要度 Selecting good features – Part III: random forests 特徴量の重要度の推測の方法にも色々あるが、これらの記事では、MeanDecreaseAccuracyとMeanDecreaseGiniという2つの方法が紹介されている。
広く使える情報量規準(WAIC)
このページをご覧いただき、ありがとうございます。 ここでは、情報量規準 WAIC を紹介しています。 ベイズ推測のための情報量規準(WAIC)が導出されました。 WAIC は（真の分布、確率モデル、事前分布）がどのような場合でも使う ことができます。他の規準と異なり理論的な基盤を持っています。 (0) モデル選択やハイパーパラメータの最適化に使えます。 (1) 漸近的に汎化損失と同じ平均値と同じ分散を持ちます。 (2) WAIC は簡単に計算できます。 (3) 真の分布が確率モデルで実現可能でなくても使えます。事前分布が真の事前分布でなくても使えます。 (4) 平均対数損失を最小にするパラメータがユニークでなくても使えます。 平均対数損失を最小にするパラメータが特異点を含む解析的集合であっても 使えます（注１）。 (5) フィッシャー情報行列が正則でなくても使えます。 (6) 事後分布が正
cl-random-forestでクロスバリデーション
kaggleに登録してみたのでとりあえずDigit Recognizerをやってみた。このデータセットではテストデータにはラベルが付いてなくて、予測結果を投稿して初めてテストデータに対する正答率が分かる。ので、学習のメタパラメータのチューニングは訓練データでクロスバリデーションすることによって決める。 cl-random-forestにn-foldクロスバリデーションを実装したのでMNISTで試してみる。データセットの分割数を5とすると、 (ql:quickload :cl-random-forest) ;; MNISTのデータを用意する (defparameter mnist-dim 780) (defparameter mnist-n-class 10) (let ((mnist-train (clol.utils:read-data "/home/wiz/tmp/mnist.scal
cl-random-forest: Common Lispで高性能なランダムフォレストを実装した
はじめに 論文: Global Refinement of Random Forest インストール 使い方 データの用意 決定木を作る ランダムフォレストを作る Global refinement Global pruning 並列化 MNISTの例 ベンチマーク まとめ はじめに 前の記事でCLMLのランダムフォレストを試したのだが、計算速度が遅くてとても実用レベルとは言えなかったので一から書き直すことにした。また先月のShibuya.lispのLispmeetupでも発表してきた。何をやっているかはこの発表のスライドで大体説明しているのだが、実際の使い方はデモでしか説明していなかったのでこの記事で説明する。 cl-random-forest(Github) Lispmeetup #50 cl-random-forest: Common Lispによるランダムフォレストの実装(Slid
Proceedings of Machine Learning Research
[edit] Volume 48: International Conference on Machine Learning, 20-22 June 2016, New York, New York, USA [edit] Editors: Maria Florina Balcan, Kilian Q. Weinberger [bib][citeproc] No Oops, You Won’t Do It Again: Mechanisms for Self-correction in Crowdsourcing Nihar Shah, Dengyong Zhou; Proceedings of The 33rd International Conference on Machine Learning, PMLR 48:1-10 [abs][Download PDF][Supplement
FOBOS
2. 目次 はじめに 紹介論文概要 問題設定：教師あり学習 Online学習／L1正則化 Online学習 L1正則化 Forward Backward Splitting(FOBOS) FOBOS Algorithm Regret分析 実験 まとめ 2 3. 目次 はじめに 紹介論文概要 問題設定：教師あり学習 Online学習／L1正則化 Online学習 L1正則化 Forward Backward Splitting(FOBOS) FOBOS Algorithm Regret分析 実験 まとめ 3 4. 紹介論文概要 Efficient Online and Batch Learning using Forward Backward Splitting (J. Duchi, Y. Singe
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LightGBMをCommon Lispから使う
Extreme Learning Machines on High Dimensional and Large Data Applications: A Survey
GitHub - melisgl/mgl: Common Lisp machine learning library.