線形層と比較した畳み込み層 - HELLO CYBERNETICS
はじめに 全結合層 全結合層の数式 非全結合層 畳み込み層 入力成分のindexに着目した非全結合層 非全結合・重み共有層 1D畳み込み層 2Dの畳み込み層 最後に はじめに 今回はニューラルネットワークの基本的な構成要素である線形（全結合）層と畳み込み層について簡単に説明します。 これを説明するモチベーションは、「畳み込み層は線形層よりも優れた発展的手法、複雑な手法であるという勘違いが 初学者の中であるのではないかと感じ、それの解消をするためです。 以降、畳み込み層と線形層の最たる違いを主張するために、線形層のことを全結合層と呼ぶことにします。 この呼び名は、TensorFlowやKerasなどのフレームワークで採用されています（layers.dense）。 全結合層 全結合層の数式 まず全結合層について数式を以下に示します。 入力ベクトル$x \in \mathbb R^{D}$に対し
RとStanでニューラルネットワークモデル
はじめに Rで確率的プログラミング言語STANが利用できる{rstan}パッケージ。 私は普段、ベイズ統計モデリングを行うために使っています。 今回は、rstanを使って多層ニューラルネット(フルコネクションの中間層2層)に挑戦する機会があったので、 備忘録としてまとめておこうと思います。 kerasやmxnetでやるよりも圧倒的に時間がかかります。圧倒的です。 一方で、係数やニューロンの値を事後分布として求めることが出来ます。テストデータのラベルも事後予測分布で求めます。 モチベーションは、この先に考えている「ネットワークのベイズ統計モデリング」にあります。 認知モデリングと組み合わせれば、神経活動のベイズ統計モデリングなんかができちゃうかもしれませんね。 現実的な時間内で求まる程度の小規模データならば、ですが。 参照元は Stanでニューラルネットの実装に関する議論です。コードがそのま
研究会 - 輸送理論から見た深層ニューラルネット
2017-09-16 14:05 ［招待講演］輸送理論から見た深層ニューラルネット ○園田 翔（早大） PRMU2017-60 IBISML2017-32 深層ニューラルネットの中では何が起きているのだろうか？本講演では，深層ニューラルネットを輸送写像として説明する。輸送写像とみなすことで，深層ニューラルネットはユークリッド空間やWasserstein空間上の軌道に対応付けられる。深層学習の原型であるデノイジング・オートエンコーダーの輸送写像を解析的に計算する。深層ニューラルネットは，データ分布の特徴量を減らす方向にデータ点を輸送する輸送写像であることを説明する。 What is happening in deep neural networks? In this talk, we formulate them as transport maps. From the transportat
Neural Episodic Control
Deep reinforcement learning methods attain super-human performance in a wide range of environments. Such methods are grossly inefficient, often taking orders of magnitudes more data than humans to achieve reasonable performance. We propose Neural Episodic Control: a deep reinforcement learning agent that is able to rapidly assimilate new experiences and act upon them. Our agent uses a semi-tabular
深層学習は画像のどこを見ている！？ CNNで「お好み焼き」と「ピザ」の違いを検証 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 こんにちは、AI開発部の伊藤です。 今回のブログは、「深層学習はいったい画像のどこを見て判断しているのか」という素朴な疑問に答えてくれる技術として、昨年提唱された「Grad-CAM」という技術を紹介します。 目次 目次 1. はじめに 2. Grad-CAMの紹介 Grad-CAMの仕組み： 3. 適用例 3-1. 画像キャプション生成（Image Captioning） 3-2. VQA（Visual Question Answering） 3-3. 学習用データのバイアス 4. 実施例（お好み焼きとピザを分類） 4-1. 画像データについて： 4-2. CNNの構築： 4-3. Grad-CAMの実装： 4-4. 実施結果の評価 お好み焼き画像でCNNの判定が当たっているケース： ピザ
東芝が独自のニューラルネット、小脳などを模した回路を開発
東芝は、ロボットの動作などの学習を,動作の反復や試行錯誤といった人間に似たプロセスで進めることを目指した人工知能技術「SolidMind」を開発した。昨今注目を集めるディープニューラルネットワーク（DNN）と異なり、使いながら学習し、しかも学習量が少なくてもある程度正しく動作するという。特に、失敗した動作を効率的に避けながら学習する特徴を備えるとする。 開発したのは、東芝 半導体研究開発センター リソグラフィプロセス技術開発部 リソグラフィープロセス技術開発第一担当 主務の野村博氏と同 松岡康男氏の二人である。野村氏らは、2つの新しいアイデアをニューラルネットワーク技術に導入することでSolidMindの回路構成を開発した。 アイデアの1つは、脳神経細胞（ニューロン）のモデル、特に学習モデルをDNNなどとは大きく変えた点である。東芝の野村氏らが採用したニューロンの動作モデルは、1943年に
『日本人「だけ」読めないフォント』が本当に日本人だけ読めないのか、ニューラルネットの力を借りて確認してみた - Qiita
test models. [PATTERN1]: English only. 2015-10-19 08:08:39,112 [INFO] #data: 26 2015-10-19 08:08:39,186 [INFO] correct: v, answer: capsV => RIGHT 2015-10-19 08:08:39,186 [INFO] correct: g, answer: capsT => WRONG 2015-10-19 08:08:39,186 [INFO] correct: s, answer: capsE => WRONG 2015-10-19 08:08:39,187 [INFO] correct: o, answer: capsD => WRONG 2015-10-19 08:08:39,187 [INFO] correct: i, answer: capsZ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
微分積分
Cattaka's Laboratory - NNGrapher