カプセルネットワークはニューラルネットワークを超えるか。 - Qiita
先日、こんな記事が上がっていました。 グーグルの天才AI研究者、ニューラルネットワークを超える「カプセルネットワーク」を発表 中々刺激的なタイトルですね。 ニューラルネットワークといえば、近年の機械学習分野を支える最も大きな技術の一つであると言えます。そんなニューラルネットワークを超えたカプセルネットワークとは一体何なのでしょうか。また、本当にニューラルネットワークを超えたのでしょうか。 本記事では、カプセルネットワークの仕組みを理解することで、従来のニューラルネットワークとの違いを比較していきます。 CNN カプセルネットワークに触れるにあたり、まず畳み込みニューラルネットワーク(Convolutional Neural Network; CNN)について理解しなければなりません。なぜなら、カプセルネットワークは、CNNをベースとして、CNNの欠点を克服するために生まれたモデルだからです
A Simple Way to Initialize Recurrent Networks of Rectified Linear Units
Learning long term dependencies in recurrent networks is difficult due to vanishing and exploding gradients. To overcome this difficulty, researchers have developed sophisticated optimization techniques and network architectures. In this paper, we propose a simpler solution that use recurrent neural networks composed of rectified linear units. Key to our solution is the use of the identity matrix
柔らかな情報処理のための統計的手法の応用に関する研究 A STUDY ON APPLICATIONS OF STATISTICAL METHODS TO FLEXIBLE INFORMATION PROCESSING
次へ: Synopsis 柔らかな情報処理のための統計的手法の応用に関する研究 A STUDY ON APPLICATIONS OF STATISTICAL METHODS TO FLEXIBLE INFORMATION PROCESSING 栗田 多喜夫 Takio KURITA visitors since Jul. 19, 2002. Synopsis 序論 多変量データ解析の理論 はじめに 記号と定義 数量化法の非線形への拡張 数量化１類とその非線形への拡張 数量化２類とその非線形への拡張 非線形の数量化２類と数量化３類の関係 交差係数行列の固有値問題 数量化４類との関係 距離について 多変量データ解析手法の非線形への拡張 非線形重回帰分析 非線形判別分析 非線形正準相関分析 線形近似としての線形データ解析手法 条件つき確率の線形近似 近似としての重回帰分析および数量化１類 近似
ニューラルガス
ニューラルガス（NG）はベクトル量子化に用いられるネットワークで， SOMとよく似たアルゴリズムで動作します． ベクトル量子化とは多数の入力ベクトルの集合を 比較的少ないユニット（参照ベクトル）で近似することをいいます． NGはSOMと同様に教師なし学習によって 自己組織的にベクトル量子化をおこないます． SOMとの違いはネットワークの構造にあります． SOMではマップを作るユニット間の隣接関係が固定されていました． それに対してNGではユニット間の隣接関係に規制がありません． これによりNGの各ユニットは独立して動くことができ， ベクトル量子化として機能します． NGに入力ベクトルが与えられると 入力ベクトルに最も近い参照ベクトルを持つユニットが勝者ユニットとなります． SOMの場合には勝者ユニットからのマップ空間上での距離によって 各ユニットの学習率が決定し
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
C#によるニューラルネットワーク入門
http://page.mi.fu-berlin.de/rojas/neural/index.html
