1. Deep Learning 勉強会(1) 2014/07/05 電気通信大学 大学院情報理工学研究科 庄野 逸: shouno@uec.ac.jp 1 http://www.slideshare.net/HAL9801 2. 2 Simple/Complex cell (Hubel&WIesel 59) Linear resp. func. (Anzai+ 99) 201020001990198019701960 Perceptron (Rosenblatt 57) Neocognitron (Fukushima 80) Conv. net (LeCun+ 89) Deep learning (Hinton+ 06) “Linear Separable” (Minski & Papert 68) Sparse Coding (Olshausen&Field 96) Stochast
Does Deep Learning Have Deep Flaws? A recent study of neural networks found that for every correctly classified image, one can generate an "adversarial", visually indistinguishable image that will be misclassified. This suggests potential deep flaws in all neural networks, including possibly a human brain. Here are three pairs of images. Can you find the differences between left columns and right
This is an implementation of R. Salakhutdinov and G.E. Hinton's Replicated Softmax model, see http://www.mit.edu/~rsalakhu/papers/repsoft.pdf You will need Numpy and SciPy installed. I don't provide the dataset. Also feel free to change the initialization of the biases, it just worked for me. It is part of my M.Sc. Thesis, advised by Christian Osendorfer at TUM, I6. You can reach me here: joerg [-
Daichi Mochihashi The Institute of Statistical Mathematics $Id: index.html,v 1.1 2013/06/28 13:02:38 daichi Exp $ rsm is a modified Python implementation of Replicated Softmax Model of Salakhutdinov and Hinton (2009) [PDF], a simple single-layer "Deep Net" for documents. This code is a modification to a Python implementation by Joerg Landthaler, http://www.fylance.de/rsm/, in several aspects: Incl
Latest results indicate that features learned via convolutional neural networks outperform previous descriptors on classification tasks by a large margin. It has been shown that these networks still work well when they are applied to datasets or recognition tasks different from those they were trained on. However, descriptors like SIFT are not only used in recognition but also for many corresponde
In this work, we propose a very simple deep learning network for image classification which comprises only the very basic data processing components: cascaded principal component analysis (PCA), binary hashing, and block-wise histograms. In the proposed architecture, PCA is employed to learn multistage filter banks. It is followed by simple binary hashing and block histograms for indexing and pool
Caffe Convolutional Architecture for Fast Feature Embedding View On GitHub Maintained by Yangqing Jia Welcome to Caffe Caffe is a framework for convolutional neural network algorithms, developed with speed in mind. It is written and maintained by Yangqing Jia as a replacement of decaf, Yangqing’s earlier Python implementation of CNNs. Several Berkeley vision group members are actively contributing
Note This section assumes the reader has already read through Classifying MNIST digits using Logistic Regression and Multilayer Perceptron. Additionally, it uses the following new Theano functions and concepts: T.tanh, shared variables, basic arithmetic ops, T.grad, floatX, pool , conv2d, dimshuffle. If you intend to run the code on GPU also read GPU. To run this example on a GPU, you need a good
論文「Quoc V. Le, Marc'Aurelio Ranzato, Rajat Monga, Matthieu Devin, Kai Chen, Greg S. Corrado, Jeff Dean, Andrew Y. Ng. Building high-level features using large scale unsupervised learning. 29 Dec 2011(last (this) revised 12 Jun 2012).」を読 んでいると、わからんキーワードを調べるとまた別のわからんキーワードにぶつかり、という無限ループにハマッテしまいました。なので、もういっそきちんとニューラルネットワーク関連テクニックをまとめてしまおうと思った次第です。まずは(と言ってもこれだけかもだけど)、畳み込みニューラルネットワーク(Convolutional Neura
動機 PRMLと参考文献読んで、たたみ込みニューラルネットが気になった。世の中の実装を探してみたんだけど、CUDAが必要だったり実装が怪しかったりしたので、勉強がてら自分で書いてみた。 たたみ込みニューラルネットとは PRML5.5.6に出てくるアレ。1998年の以下の論文がたぶん初出。 Gradient Based Learning Applied to Document Recognition 7層前後の深い階層構造を持っており、最近流行りのdeep learningからすると恐らくご先祖のようなもの。論文中でもdeep learningみたく、「特徴抽出を問題ごとに手探りするのは止めて、生画像を深いネットワークに突っ込んで学習させた方がいいよね」という方向性をはっきり主張している。 The main message of this paper is that better patte
Hello Autoencoder 最近,身内でDeep Learningを題材に含んだ勉強会を行なっている. メインは専門である自然言語処理まわりだが, とりあえず実装(というよりnumpy)の導入になる上,結果を視覚化できることから, 画像データを利用したAutoencoderの実装について取り扱った. 軽い説明と共にコードと,色々な結果を Autoencoder Autoencoderとは,Neural Networkの特殊系で,基本的には 入力層と出力層のユニット数が同じである. 教師信号として入力そのものを与える. という特徴を持つ. 入力と出力が共に4次元で,隠れ層が2次元なAutoencoderの図 Autoencoderは,入力の情報をを一度隠れ層の空間に写像(encode) したあと, 元の信号を復元(decode)するようなパラメータを学習する. 図のように,もしも隠れ
2013-06-02 Restricted Boltzmann Machine入門 (1) 機械学習 Deep Learning はじめに Deep Learningというものが最近流行りですね。とてもきょうみがあります。そのためにはやはり、Restricted Boltzmann Machine(RBM)は避けて通れないようでしたので、自分で調べた内容を書きます。タイトルの「入門」とは初心者(私)が何かに入門した痕跡、という意味であります。*1RBMは2回に分けて書くつもりで、 今回はかなり遠回りで問題設定の確認 次回で学習アルゴリズムの紹介&手書き文字認識をして遊ぶ という感じでやろうと思います。 グラフィカルモデルの話 はじめに、若干抽象的な話をします。グラフィカルモデルとは、その名の通り確率変数どうしの依存関係をグラフで表現したものです。 イメージとしては単純に、グラフの各ノード
In the previous post I explained the basic structure of an RBM. In this post I will explain the algorithm that is typically used to find the weights for an RBM. The algorithm is called the Contrastive Divergence algorithm. It works because of some limitations on the problem: that the graph of the nodes is bipartite, meaning there are two groups of nodes with no connections within the group. The hi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く