機は熟した！グラフ構造に対するDeep Learning、Graph Convolutionのご紹介 - ABEJA Tech Blog
はじめまして。ABEJAでResearcherをやらせていただいている白川です。 先日、化合物の物性推定をDeep Learningをつかって従来手法より300,000倍高速に処理するという論文がでました（[1], [2]）。この論文の手法は、Graph Convolutionというグラフ上に定義されたConvolution演算がベースとなっています。物性推定に限らず、グラフ解析全般を Deep Learning で上手にこなせるようになれば、Deep Learningのアプリケーションの幅がぐっと拡がり、さらなるイノベーションが起きそうな予感がします。 ICMLやNIPSなどの機械学習系の主要国際会議でも数年前からGraph Convolutionについての論文がちらほら出現しはじめており、とくに最近その勢いが増してきている印象があります。個人的にも最近（前から？）にわかにグラフづいてい
Revisiting Natural Gradient for Deep Networks
We evaluate natural gradient, an algorithm originally proposed in Amari (1997), for learning deep models. The contributions of this paper are as follows. We show the connection between natural gradient and three other recently proposed methods for training deep models: Hessian-Free (Martens, 2010), Krylov Subspace Descent (Vinyals and Povey, 2012) and TONGA (Le Roux et al., 2008). We describe how
The Emerging Information Geometric Approach to Deep Learning | Alluviate Blog
Classical Statistics addresses systems involving large numbers, however Statistics breaks down in a domain of high dimensional inputs and models with a high number of parameters. In this domain, new theories and methods are being developed using new insights discovered though the use of massive computational systems. The field of Deep Learning is spearheading these discoveries, however there is a
Deep Learningの理論的論文リスト - Obey Your MATHEMATICS.
§1はじめに Deep Learningってどのくらい理論的に解明されているのか？ってやっぱり気になりますよね。 それに関して、次のQuoraのスレッドに非常に有益なコメントがあります。 When will we see a theoretical background and mathematical foundation for deep learning? - Quora How far along are we in the understanding of why deep learning works? - Quora 深層学習界の大御所であるYoshua Bengio、Yann LeCunの二人が 実際ディープラーニングの理論的理解ってどうなのよ？？ って質問に直々にコメントしています。 LeCunのコメントの冒頭を少し引用しますと; That’s a very active
KerasをTensorFlowバックエンドで試してみた：「もっと多くの人に機械学習とDeep Learningを」という時代の幕開け - 渋谷駅前で働くデータサイエンティストのブログ
（左：Keras、右：MXnet） Kaggle Masterの間ではMXnetよりさらに人気なDeep Learningフレームワークというかラッパーが、@fchollet氏の手によるKeras。 Keras Documentation 結構苦心したのですが、ようやく手元のPython環境で走るようになったので、試してみました。なおKerasの概要と全体像についてはid:aidiaryさんが詳細な解説を書いて下さっているので、そちらの方を是非お読み下さい。 追記 Kerasは人気のフレームワークなので、僕なんぞがこんなブログ記事を書く前から素晴らしい紹介記事・スクリプトが幾つもあります。こちらでは参考までに以下のお二方のものをご紹介させていただきます。 Kerasはレゴブロックを組み合わせるかのようにして、簡単にディープラーニングのモデルを作成できる便利なライブラリです。これを使って楽し
現在のDNNにおける未解決問題
脳型計算機雑談会での資料です 1. 大きなNNの学習はなぜ一様に成功するか 2. 敵対的生成ネットワーク(GAN)の解析 3. seq2seqによる可変長情報の埋め込み 4. Ladder Networkの解析 Read less
Deep Learning Books - MachineLearningMastery.com
There are not many books on deep learning at the moment because it is such a young area of study. There are a few books available though and some very interesting books in the pipeline that you can purchase by early access. In this post, you will discover the books available right now on deep learning. Kick-start your project with my new book Deep Learning With Python, including step-by-step tutor
生成モデルの Deep Learning
PFIセミナー(2016/02/25)で発表したスライドです。伝承サンプリング可能な生成モデルに関するDeep Learningの紹介です（キーワード：Wake-Sleep, 変分 AutoEncoder, Generative Adversarial Nets, Likelihood Ratio）Read less
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Redirect
Reddit - Dive into anything
Financial Services