金子勇さんのED法を実装してMNISTを学習させてみた - Qiita
追記：続きを書きました。 はじめに 先日以下の記事が投稿され、その斬新な考え方に個人的ながら衝撃を受けました。 内容をざっくり言うと、ニューラルネットワークの学習を現在の主流であるBP法（誤差逆伝播法）ではなく、ED法（誤差拡散法）という新しい学習手法を提案しているものです。 もし記事の内容が本当ならニューラルネットワークの学習がO(1)でできてしまう事になり、まさしく革命が起きてしまいます。 （結論からいうと速度面はそこまででもなかったです（それでも早くなる可能性あり）） （ただこの新手法のポテンシャルは革命を起こす可能性は秘めているといっても過言ではありません） ED法に関してネットを探すとインターネットアーカイブに情報が少し残っていました。 このページですがED法のサンプルプログラム（C言語）が残っており、このサンプルプログラムをベースにpythonで書き起こしたものが本記事となりま
ニューラルネットワークの動物園 : ニューラルネットワーク・アーキテクチャのチートシート(前編) | POSTD
新しいニューラルネットワークのアーキテクチャがその時々で誕生するため、それら全部を把握することは困難です。全ての略語を覚えようとすると、最初はその数の多さに圧倒されてしまうでしょう（DCIGNやBiLSTM、DCGANを知っている人はいますか？）。 そんなわけで、これらのアーキテクチャの多くを盛り込んだチートシートを作ることにしました。そのほとんどはニューラルネットワークです。しかし、中には全く異なるアーキテクチャも潜んでいます。どれも独特で目新しいアーキテクチャばかりですが、ノードの構造を描くことで基本的な関係が分かりやすくなってきます。 これらをノードマップとして描くことの問題点は、これらがどのように使われるかを明確に示していないという点です。例えば、変分オートエンコーダ（VAE）はオートエンコーダ（AE）と同じように見えますが、実際は訓練過程が全く異なりますし、訓練したネットワークの
Neural Architecture Search with Reinforcement Learning
Neural networks are powerful and flexible models that work well for many difficult learning tasks in image, speech and natural language understanding. Despite their success, neural networks are still hard to design. In this paper, we use a recurrent network to generate the model descriptions of neural networks and train this RNN with reinforcement learning to maximize the expected accuracy of the
Blue Brain Project｜脳回路の構成的理解に求められる、最低限の『リアルさ』とは？ - Mのメモ
Reconstrucion and Simulation of Neocortical Microcircuitry Henry Markram, Eilif Muller, Srikanth Ramaswamy, Michael W. Reimann, …., Javier DeFelipe, Sean L. Hill, Idan Segev, Felix Schürmann et al.,*1 Cell (2015), 163(2), 456–492 何を以て脳を理解したとするか。答えは十人十色でしょうが、一つの回答として、『少数のパラメーターを用いた数式で脳の挙動を近似的に再現できたなら』という構成的なアプローチが挙げられます。これを達成するためには、本質的なパラメーターの洞察だけでなく、その数式に用いられる定数の値を実験的に求めることが必要になってきます。例えば今から60 年以上前
Optimal Brain Surgeon
汎化性を確保するためには、課題の複雑さと利用可能なサンプルの数にマッチ するようにネットワークの大きさを決めることが重要である。そこで、学習結 果に応じてネットワークの大きさを変化させる方法もいくつか提案されている。 小さなネットワークからはじめて、徐々にネットワークを大きくするような方 法としては、例えば、Fahlman らの Cascade Correlation[35]、 the Group Method of Data Handinig (GMDH) に基づくもの [36,37,38]などがある。 一方、大きなネットワークから不要な(冗長な)結合荷重を徐々に取り除いて、 問題のサイズにマッチしたネットワークを構成する方法は、Pruning と呼ばれ、 いくつかの方法が提案されている。そのための最も直観的な方法は、結合荷重 の絶対値が小さい結合荷重を削除する方法である。しかし、結合荷
IBM Japan Newsroom - Home
トップニュース IBM News Twitter IBM News YouTube IBM News Facebook オープンで安全な、責任あるAIの推進に向け、主要な技術開発者、研究者、AI導入者が協業する国際的なコミュニティーとして「AI Alliance」が発足IBM、次世代量子プロセッサーおよびIBM Quantum System Twoを発表するとともに、 実用的な量子コンピューティングの時代の前進に向けロードマップを拡張IBM、企業や政府による生成AIのガバナンスと信頼構築を支援するwatsonx.governanceを提供開始IBM、地理空間AIを進化させ、気候問題に取り組むIBM、AWSとの関係を拡大し、生成AIソリューションと専門知識を企業に提供 ‹ › 最新ニュース latest news 2023年12月11日 AI 保険業界向けにAIを活用した仮想知的デジタル・ワ
「考える」シリコンが現実に――IBM SyNAPSEが量産化にめど
IBMが脳からヒントを得た「ニューロシナプティック・コア」を持つ半導体を正式に発表。量産化のめどがたったことで、「ニューロシナプティックスーパーコンピューター」の実現が期待される。 米IBMは2014年8月7日（現地時間）ニューロシナプティックコンピューターチップ「IBM SyNAPSE」を正式に発表した。製造はサムスン電子の28nm製造プロセスを採用している。リアルタイムオペレーション時の消費電力は70ミリワット。100万個のプログラム可能な「ニューロン」と2億5600万個のプログラム可能な「シナプス」、そして毎秒毎ワット460億の「シナプティックオペレーション」を実現する。 SyNAPSEは、われわれがよく知るノイマン型コンピュータとは全く異なるアーキテクチャを採用しており、スケーラビリティにおいては実質的に無限の拡張性を持つものになる。一方、アーキテクチャが全くことなることから、その
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Recurrent Neural Networks - Pfi seminar 20141030_rnn