NIPS2014読み会で深層半教師あり学習の論文を紹介しました
今週の火曜日 (1/20) に東大で NIPS2014 読み会 が開かれました． NIPS 自体の参加者数が増えているのと同様に，読み会も去年にくらべてさらに多くの人が集まりました． その中で僕もひとつ論文を紹介しました． 紹介した論文の著者は，スライド中にも出てくる変分 AutoEncoder の考案者です． 変分 AE では，生成モデルと認識モデルをそれぞれニューラルネットで定義して，確率変数としてそれらの出力をパラメータとする正規分布を使いました． 生成モデルを認識モデルで近似したときの変分下界は，認識モデルに関する期待値の形をしています． このように，最適化の対象となる分布に関する期待値の最適化は，一般には REINFORCE アルゴリズムによる勾配法を使います． REINFORCE アルゴリズムは，期待値を積分で書いた時に，積の微分を使って勾配を計算し，それを対数微分の公式 $x
論文紹介 Semi-supervised Learning with Deep Generative Models
1. 論論⽂文紹介 Semi-‐‑‒supervised Learning with Deep Generative Models NIPS2014読み会 @ 東⼤大, 2015/01/20 Preferred Networks, 得居 誠也 @beam2d 2. l ラベルありデータが少なくて，それだけでは分離離曲⾯面を決めづらい l ラベルなしデータを使って空間を補間して，いい感じに分離離曲⾯面を決めよう → 半教師あり学習 半教師あり学習 (semi-‐‑‒supervised learning) 2 猫 ⽝犬 ラベルありデータ（少ない） ラベルなしデータ（多い） 3. 従来⼿手法：⼤大きく 4 種類 3 ⾃自⼰己教⽰示による学習 • 学習した予測器を使ってラベルなし データをラベル付けする • ⼤大マージンの仮説を⼊入れることもあ る（Tr
Unsupervised Feature Learning and Deep Learning Tutorial
Description: This tutorial will teach you the main ideas of Unsupervised Feature Learning and Deep Learning. By working through it, you will also get to implement several feature learning/deep learning algorithms, get to see them work for yourself, and learn how to apply/adapt these ideas to new problems. This tutorial assumes a basic knowledge of machine learning (specifically, familiarity with t
Feature Hashingを試す - Negative/Positive Thinking
はじめに Feature Hashingについて気になったことがあったので試してみた。 Feature Hashingとは Hashing trick ハッシュ関数を使って、素性群をM次元ベクトルにする 一種の次元圧縮 Bag of wordsなどの素性をそのままハッシュ値にすることで、素性とIDのペアの辞書などが必要なくなる スパムフィルタでは、新語やミススペルでフィルタ回避されてしまうと対応すべき語が増え続ける(辞書が大きくなる)問題などに使える ベクトルの作り方 いくつか提案されているが、各素性のhash値を計算してmod Mをとったインデクスの所に入れるものとしては主に2つがあるようなので、メモしておく。 Shiらの方法 Shiら(2009) 値をunsigned sumする φ_i (x) = Σ_{ j:h(j)=i } x_j h : ハッシュ関数 Weinbergerらの方
EnsembleSVM - A Library for Ensemble Learning Using Support Vector Machines
EnsembleSVM A Library for Ensemble Learning Using Support Vector Machines Introduction EnsembleSVM is a free software machine learning project. The EnsembleSVM library offers functionality to perform ensemble learning using Support Vector Machine (SVM) base models. In particular, we offer routines for binary ensemble models using SVM base classifiers. The library enables users to efficiently train
ConvNetJS Trainer Comparison on MNIST
ConvNetJS Trainer demo on MNIST Description This demo lets you evaluate multiple trainers against each other on MNIST. By default I've set up a little benchmark that puts SGD/SGD with momentum/Adagrad/Adadelta/Nesterov against each other. For reference math and explanations on these refer to Matthew Zeiler's Adadelta paper (Windowgrad is Idea #1 in the paper). In my own experience, Adagrad/Adadelt
My solution for the Galaxy Zoo challenge
The Galaxy Zoo challenge on Kaggle has just finished. The goal of the competition was to predict how Galaxy Zoo users (zooites) would classify images of galaxies from the Sloan Digital Sky Survey. I finished in 1st place and in this post I’m going to explain how my solution works. Introduction The problem Galaxy Zoo is a crowdsourcing project, where users are asked to describe the morphology of ga
Finding the K in K-Means Clustering
A couple of weeks ago, here at The Data Science Lab we showed how Lloyd’s algorithm can be used to cluster points using k-means with a simple python implementation. We also produced interesting visualizations of the Voronoi tessellation induced by the clustering. At the end of the post we hinted at some of the shortcomings of this clustering procedure. The basic k-means is an extremely simple and
LIBPMF - A Library for Large-scale Parallel Matrix Factorization
LIBPMF -- A Library for Large-scale Parallel Matrix Factorization Version 1.42 is released on Jan 03, 2020. Make Python 3 interface compatiable. Version 1.41 is released on April 24, 2014. A small bug in the R interface is fixed. Version 1.4 is released on Sep 23, 2013. A matlab interface is included. Version 1.3 is released on Aug 28, 2013. The option to support nonnegative constraints is include
人工知能学会誌 連載解説「Deep Learning（深層学習）」
人工知能学会監修『深層学習 — Deep Learning』出版の案内 本連載解説の記事を加筆・再編集した書籍『深層学習 — Deep Learning』を近代科学社から2015年10月31日に出版しました． 監修：人工知能学会 著者：麻生 英樹，安田 宗樹，前田 新一，岡野原 大輔，岡谷 貴之，久保 陽太郎，ボレガラ・ダヌシカ 編集：神嶌 敏弘 出版：近代科学社 出版社のページ サポートページ 人工知能学会誌 連載解説「Deep Learning（深層学習）」 現在では記事は無料で公開されています． 安田 宗樹「ディープボルツマンマシン入門 : ボルツマンマシン学習の基礎」人工知能学会誌 Vol.28 No.3 (2013年5月) 麻生 英樹「多層ニューラルネットワークによる深層表現の学習」人工知能学会誌 Vol.28 No.4 (2013年7月) 岡野原 大輔「大規模Deep Lear
NIPS 2012 (BigVisionワークショップ) - 東京大学中山研究室 研究日記
本会議終了後の二日間はワークショップの日です。 今日はBigVisionというコンピュータビジョンのワークショップに参加し、ポスター発表も行いました。本会議はだいぶアウェーな感じでしたが、ここは自分の専門分野なので何となくほっとしました。 このワークショップですが、なんといっても招待講演者が大御所ぞろいでかなり豪華でした。Organizerの方々が精力的に準備されてきたのだろうと思います。また、一般発表も比較的レベルの高いものが多かったように思います。 一般的に、併設のワークショップというと一段低く見られることがあるように感じますが、同じ分野の中でも興味関心の近い研究者と密に議論できるいいチャンスだと思います。本会議で勉強もできるので、自分に関連するテーマであれば上手に利用するといいと思います。 都合で明日早朝に日本へ向けて出発しなければならないため、二日目のワークショップには出れません。
Non-Euclidean Manifold上での近似最近傍探索(論文紹介) - xiangze's sparse blog
こんにちは。@xiangze750です。Machine Learning Advent Calendar 2012の13日目の投稿になります。 今回はコンピュータビジョンにおける最近傍探索と幾何学についての論文紹介です。 Fast ANN Methods for Non-Euclidean Manifolds with Applications to Human Activity Analysis in Videos(pdf)という(題名どおり)人間の動作の分類を近似再近傍探索を用いて行うという論文を読んでいたのですが、リーマン幾何などの比較的高度な数学的概念が前提とされ、先行研究も多数あげられていたので内容理解のための個人的な覚え書き,疑問点の整理をかねてその内容をまとめます。 目次 課題、問題点 Locally sensitive Hashing(LSH) Semantic Hashi
[機械学習] AROWのコードを書いてみた - tsubosakaの日記
昨日のPFIセミナーで紹介されていたAROW (Adaptive Regularization Of Weight Vector)を実装してみた。 AROWはCrammerらによりNIPS 2009で提案された手法で、彼らが以前提案したConfidence weightedよりもノイズに強く、またCWとほぼ同等の性能を持っている。 今回実装したのは共分散行列を対角に近似した場合の式に基づいている。これは共分散行列をフルに持とうとすると素性の数の2乗程度のメモリが必要で、コストが大きすぎるためである。 追記 Featureクラスの定義を書くのを忘れてたので追加 public class Feature { int index; double weight; Feature(int i , double w){ index = i; weight = w; } } import java.ut
![[機械学習] AROWのコードを書いてみた - tsubosakaの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/7a37c318307a9fb8d6fc25ef03c8e304faa1be98/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127124028144%2F17680117127124031085%2F1557332456)
lp_solve reference guide
<body> You browser does not support frames.<br> Click <a href="menu.htm">here</a> to load menu </body>
侮れないbias項 - DO++
最近改めて知ったこと 線形識別器は入力x, 出力y から定義される素性ベクトルφ(x,y) とモデルパラメータの重みベクトル wの内積 s(x,y) := w φ(x,y) をスコアとして考えて、これが最大となるような出力yを識別結果とします。このwは訓練データを使って、何か訓練のための基準を定めて（最大エントロピー法だと対数線形モデル作って最尤推定、SVMだとヒンジ損失を最小化するようにとか）、それを最小化 or 最大化するという最適化問題で解くのが一般的です。 大抵 w = \arg \min \sum 各データに関するフィットの損失関数 + C |w|^2 で、線形モデルには一応bias項があって s(x,y) := wφ(x,y) + b_y という感じでwとは独立にモデルパラメータb_yがyの個数分付く。でもこれってφ(x,y)をy次元分増やしてそこに1を置いておけば式としては等
LIBLINEAR -- A Library for Large Linear Classification
Machine Learning Group at National Taiwan University Contributors Version 2.47 released on July 9, 2023. We fix some minor bugs. Version 2.43 released on February 25, 2021. Installing the Python interface through PyPI is supported > pip install -U liblinear-official The python directory is re-organized so >>> from liblinear.liblinearutil import * instead of >>> from liblinearutil import * should b
任意の学習率の式に対する効率的なL1正則化の計算方法 : Preferred Research
今回はaveraged FOBOSの導出をしてみたのでその話を書こうかと思ったのですが、導出途中に平均化劣勾配法の場合と大差ないと気付いてしまってテンションが下がってしまいました。というわけで、ちょっとネタを変えて、学習率をいい感じに減衰させながら学習するためにはどうしたらいいのか、ありがちな実装テクニックについて書いてみます。 前提知識 前提知識として最適化問題をどう解くかを知っている必要があります。これについては以前に入門記事を書きましたので適宜ご参照下さい。文字数制限の関係で4回目と5回目のみリンクしておきます。 劣微分を用いた最適化手法について(4) やっとFOBOSが出てくる第4回 劣微分を用いた最適化手法について(完) 感動の最終回 問題提起 最近のオンライン学習において重要なテクニックの1つとして、パラメーター更新の遅延（lazy update）があります。これは、正則化の計
LETOR: Learning to Rank for Information Retrieval - Microsoft Research
LETOR is a package of benchmark data sets for research on LEarning TO Rank, which contains standard features, relevance judgments, data partitioning, evaluation tools, and several baselines. Version 1.0 was released in April 2007. Version 2.0 was released in Dec. 2007. Version 3.0 was released in Dec. 2008. This version, 4.0, was released in July 2009. Very different from previous versions (V3.0 i
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - dpkingma/nips14-ssl: Code for reproducing results of NIPS 2014 paper "Semi-Supervised Learning with Deep Generative Models"
機械学習の Python との出会い — 機械学習の Python との出会い