Denoising Autoencoderとその一般化
Machine Learning Advenc Calendar 2013の23日目担当の得居です。 株式会社Preferred InfrastructureでJubatusを作ったりしています。 今日は深層学習(deep learning)の話です。 深層学習はこの2年ほどで専門外の人にも知れ渡るほどに大流行しました。 データさえ大量にあればテクニック次第で他の手法を圧倒する性能を達成できることから、特に大量のデータを持つ大企業において大々的な参入が相次ぎました。 主に流行っているのは教師あり学習です。 補助として教師なし学習による事前学習(pretraining)も、特に音声認識のタスクにおいては行われているようですが、画像認識を中心に事前学習なしでもテクニック次第で学習できるという見方が強まっています。 一方で教師なしデータからの学習はブレイクスルー待ちといった雰囲気です。 Deep
Hello Autoencoder — KiyuHub
Hello Autoencoder 最近，身内でDeep Learningを題材に含んだ勉強会を行なっている． メインは専門である自然言語処理まわりだが， とりあえず実装(というよりnumpy)の導入になる上，結果を視覚化できることから， 画像データを利用したAutoencoderの実装について取り扱った． 軽い説明と共にコードと，色々な結果を Autoencoder Autoencoderとは,Neural Networkの特殊系で，基本的には 入力層と出力層のユニット数が同じである． 教師信号として入力そのものを与える． という特徴を持つ． 入力と出力が共に4次元で，隠れ層が2次元なAutoencoderの図 Autoencoderは，入力の情報をを一度隠れ層の空間に写像(encode) したあと， 元の信号を復元(decode)するようなパラメータを学習する． 図のように，もしも隠れ
経験損失最小化 – ERM (1) | パターン認識と機械学習
決定理論 予測するとは？ 分類問題の目標は、観測したxがどのクラスに属するのかをはっきりと知る事。 そのための手法は「識別関数」「識別モデル」「生成モデル」の３つあるが、その前にまず「決定理論」と「そうでないもの」の２つに大別される。以下、言葉の意味を整理する。 ・決定理論 「推論」と「決定」の２段階に分ける手法。 ・そうでないもの ２段階に分けない手法。これが３つの手法のうちの１つ目の、識別関数。パーセプトロンやSVMがそう。 訓練データから識別関数f(x)を求め、未知の入力データxにそれぞれに対し、どのクラスに属するかの答えを直接与える手法。 確率を用いず、例えば2クラス分類であれば陽性と陰性との間の境界線のみを求める。 決定理論とは？ 「推論」とは、訓練データから事後分布p(Ck|x) をモデル化する事。 識別関数が陽性/陰性を一発ではっきりと答えを出すのに対し、この患者xが陰性であ
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
2014年11月13日開催の全脳アーキテクチャ若手の会 第3回Deep Learning勉強会の資料です。RBMの動作原理をポイントを押さえて解説しました。参考資料を後ろに纏めましたのでご自由にご活用ください。
機械学習超入門 〜そろそろナイーブベイズについてひとこと言っておくか〜 - EchizenBlog-Zwei
最近では機械学習の認知度も上がってきていて専門家でなくてもナイーブベイズやSVMなどの名前を知っている人も増えてきたように思う。 そんなわけでちょっと機械学習をはじめてみようかな、と思っている人も多いのではないだろうか。とはいえ「数式よくわからない」「確率嫌い」といった理由で尻込みしているケースも多いのでは。 そこで予備知識ゼロでもわかるような機械学習の入門記事を書いてみたよ。 機械学習を「作りたい」のか「使いたいのか」 まず最初に確認したいのがこれ。使いたいだけならまずはSVMを使ってみれば良い。世の中にはlibsvmやsvmlightという良いツールがあるのでそれを使おう。以下の記事は機械学習を「作りたい」「仕組みを知りたい」人向けの内容になっている。 「最も簡単な機械学習はナイーブベイズ」という幻想 機械学習といえばナイーブベイズという話がよくある。ナイーブ(単純)という名前からいか
最大エントロピーモデルについて（CRF への前振り） - アスペ日記
最大エントロピーモデルについての解説。 既存の資料としては、A Simple Introduction to Maximum Entropy Models for Natural Language Processing や「言語処理のための機械学習入門」（通称高村本）が詳しい。 記事中でもその用語を適宜使ったり、内容を引用したりする。 ここでは、できるだけ直感的に理解できるような説明を目指す。 まず、最大エントロピーモデルとは何か。 最大エントロピーモデルは、分類を行う時に使われる。 たとえば、あるレビューに出てきた単語（good とか bad とか）から、そのレビューがポジティブなのかネガティブなのか分類する、というようなもの。 この分類先のことをクラスと呼ぶ。 最大エントロピーモデルは識別モデルの一種。 識別モデルの他には生成モデルというものもある。 これらの違いは、レビューの例で言う
Ｒとカーネル法・サポートベクターマシン
図1に示すように、非線形データ構造を線形構造に変換することができれば、線形データ解析手法で非線形データを容易に扱うことができる。 データを変換することで、非線形構造を線形構造に変換することが可能である。例えば、図2(a)に示す2次元平面座標系(x,y)上の4つの点A1(1,1)、A2(1,-1)、A3(-1,-1)、A4(-1,1)を考えよう。仮にA1とA3がひとつのクラス、A2とA4がひとつのクラスだとすると、平面上でクラスの境界線を一本の直線で引くことができない。しかし、新しい変数 を導入し、2次元平面(x,y)上の4つの点を3次元空間(x,y,z)に射影するとA1(1,1,1)、A2(1,-1,-1)、A3(-1,-1,1)、A4(-1,1,-1)になり、両クラスは平面で切り分けることが可能である。例えば，z=0の平面を境界面とすることができる。 図1では、関数φ(x)を用いて個体
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Teradata｜Teradata Japan, Ltd. | 日本テラデータ株式会社
http://www.ippukucho.com/program/laboratory/index.html