金子勇さんのED法を実装してMNISTを学習させてみた - Qiita
追記：続きを書きました。 その２：ED法を高速化してその性能をMNISTで検証してみた その３：ED法+交差エントロピーをTF/Torchで実装してみた（おまけでBitNet×ED法を検証） はじめに 先日以下の記事が投稿され、その斬新な考え方に個人的ながら衝撃を受けました。 内容をざっくり言うと、ニューラルネットワークの学習を現在の主流であるBP法（誤差逆伝播法）ではなく、ED法（誤差拡散法）という新しい学習手法を提案しているものです。 もし記事の内容が本当ならニューラルネットワークの学習がO(1)でできてしまう事になり、まさしく革命が起きてしまいます。 （結論からいうと速度面はそこまででもなかったです（それでも早くなる可能性あり）） （ただこの新手法のポテンシャルは革命を起こす可能性は秘めているといっても過言ではありません） ED法に関してネットを探すとインターネットアーカイブに情報が
人工培養された脳細胞によるゲームプレイの仕組み 〜自由エネルギー原理について〜｜masa_kazama
イントロ「実験室内で培養した人の「ミニ脳」にゲームをプレイさせることに成功、AIよりも速いわずか5分で習得」というニュースが話題になっています。 脳細胞をトレーの中で人工培養させて、その細胞に卓球ゲームの「Pong」をプレイさせたところ、たった５分で学習し、ラリーが続くようになったと報告されています。まるで、マトリックスの映画のようで、この技術を使った未来がワクワクすると同時にちょっと怖くもあります。一体、どんな技術を使って、脳細胞に卓球ゲームを学習させたのでしょうか。このニュースを取り上げている記事は多かったのですが、中身の仕組みについて解説している記事は多くありませんでした。そこで、このブログ記事では、ミニ脳にゲームを学習させた仕組みを自分の勉強がてらに、備忘録的にざっくりとまとめたいと思います。（そのため、自分の理解や記述が間違っている箇所があるかもしれません。もしありましたらお知ら
「R」「L」の聞き分けが5日間で正答率90％に、ニューロフィードバック技術で
情報通信研究機構（NICT）は、無意識に英単語のリスニング能力を向上できるニューロフィードバック技術の開発に成功した。 情報通信研究機構（NICT）は2017年6月15日、無意識に英単語のリスニング能力を向上できるニューロフィードバック技術の開発に成功したと発表した。NICT脳情報通信融合研究センター 常明氏らの研究グループと大阪大学大学院 情報科学研究科、北海道大学が共同で行ったもので、成果は同日、米科学誌「PLOS ONE」に掲載された。 ニューロフィードバック技術とは、脳から取り出した脳活動パターンの情報を本人に伝え、その脳活動パターンを希望のパターンに近づけるための学習を可能とする技術。同研究では、音の違いに反応する脳活動（Mismatch Negativity：MMN）を強化するニューロフィードバック技術を開発した。 実験では、参加者が脳波計を装着してイヤフォンを通して「ligh
非空間性の出来事の順序を表現する海馬における発火率および時間による符合化 : ライフサイエンス 新着論文レビュー
寺田 慧・藤澤茂義 （理化学研究所脳総合研究センター システム神経生理学研究チーム） email：寺田 慧，藤澤茂義 DOI: 10.7875/first.author.2017.065 Temporal and rate coding for discrete event sequences in the hippocampus. Satoshi Terada, Yoshio Sakurai, Hiroyuki Nakahara, Shigeyoshi Fujisawa Neuron, 94, 1248-1262.e4 (2017) 要 約 海馬はエピソード記憶や空間の探索に不可欠な領域であり，発火率および時間による符合化により出来事や場所の順序の関係を表現すると考えられている．しかしながら，これらの符合化は空間の情報に対してしか確認されておらず，非空間性の情報を含めた包括的な表現の機構
ニューラルネットワークの動物園 : ニューラルネットワーク・アーキテクチャのチートシート(後編) | POSTD
前編はこちら： ニューラルネットワークの動物園 : ニューラルネットワーク・アーキテクチャのチートシート(前編) 逆畳み込みネットワーク(DN) は、インバース・グラフィックス・ネットワーク（IGN）とも呼ばれていますが、畳み込みネットワークを逆転させたものになります。例えばネットワークに”猫”という言葉を入力すれば、生成した猫らしき画像と本物の猫の写真を比較しながら猫の画像を作成するよう訓練するようなイメージです。普通のCNNと同様にDNNをFFNNに組み合わせることができますが、新しい略語が見つかる時に線が描かれるところが特色です。深層逆畳み込みニューラルネットワークとでも呼べそうですが、FFNNの前後にDNNをつなげると、新しい名前をつけるにふさわしい別のアーキテクチャのネットワークができると主張できます。実際にはほとんどのアプリケーションにおいて、ネットワークにテキストに似たものが
ニューラルネットワークの量子化についての最近の研究の進展と、その重要性 - SmartNews Engineering Blog
こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、ニューラルネットワークの量子化の話をします。 TL;DR パラメータだけを量子化するのであれば、ほぼ精度を落とさずに、パラメータのデータ容量は1/16程度にまで削減できる パラメータ、アクティベーション、勾配のすべてを量子化し、推論だけでなく学習までもビット演算だけで実現する研究が進んできている 現在は深層学習 = GPU必須というぐらいの勢いがあるけど、量子化の研究が進むと、今後はどうなるかわからないよ はじめに 情報理論における量子化とは、アナログな量を離散的な値で近似的に表現することを指しますが、本稿における量子化は厳密に言うとちょっと意味が違い、十分な（=32bitもしくは16bit）精度で表現されていた量を、ずっと少ないビット数で表現することを言います。 ニュ
ニューラルネットワークの動物園 : ニューラルネットワーク・アーキテクチャのチートシート(前編) | POSTD
新しいニューラルネットワークのアーキテクチャがその時々で誕生するため、それら全部を把握することは困難です。全ての略語を覚えようとすると、最初はその数の多さに圧倒されてしまうでしょう（DCIGNやBiLSTM、DCGANを知っている人はいますか？）。 そんなわけで、これらのアーキテクチャの多くを盛り込んだチートシートを作ることにしました。そのほとんどはニューラルネットワークです。しかし、中には全く異なるアーキテクチャも潜んでいます。どれも独特で目新しいアーキテクチャばかりですが、ノードの構造を描くことで基本的な関係が分かりやすくなってきます。 これらをノードマップとして描くことの問題点は、これらがどのように使われるかを明確に示していないという点です。例えば、変分オートエンコーダ（VAE）はオートエンコーダ（AE）と同じように見えますが、実際は訓練過程が全く異なりますし、訓練したネットワークの
Neural Architecture Search with Reinforcement Learning
Neural networks are powerful and flexible models that work well for many difficult learning tasks in image, speech and natural language understanding. Despite their success, neural networks are still hard to design. In this paper, we use a recurrent network to generate the model descriptions of neural networks and train this RNN with reinforcement learning to maximize the expected accuracy of the
プロジェクションマッピングで神経細胞を刺激するロボット顕微鏡を開発
大阪大学は、動く観察対象を自動追跡し、特定の神経細胞をプロジェクションマッピングによって刺激するロボット顕微鏡を開発し、線虫「C.エレガンス」の複数のドーパミン細胞の性質が異なることを明らかにした。 大阪大学は2016年5月19日、動く観察対象を高速に自動追跡し、特定の神経細胞をプロジェクションマッピングで刺激するロボット顕微鏡「オーサカベン」を開発し、行動中の線虫の複数のドーパミン細胞の性質がそれぞれ異なることを明らかにした。同大学大学院理学研究科の木村幸太郎准教授と東北大学大学院情報科学研究科の橋本浩一教授らの共同研究チームによるもので、成果は同日、英科学誌「Scientific Reports」で公開された。 今回、同研究チームでは、水平面上を自由に移動する生物を1／200秒単位で自動追跡しながら、蛍光によって複数の神経活動を測定し、さらに複数の神経活動をプロジェクションマッピングで
【細胞に記憶】単一神経細胞による『記憶』を世界で初めて発見 定説をひっくり返す大発見 | 不思議.net - 5ch(2ch)まとめサイト
【プレスリリース】単一神経細胞による記憶(Single-cell memory)を世界で初めて発見 -記憶メカニズムの定説を書き換え- - 日本の研究.com https://research-er.jp/articles/view/41992 名古屋大学大学院理学研究科 (研究科長:松本 邦弘) の森 郁恵(もり いくえ)教授と貝淵 弘三(かいぶち こうぞう)教授(同大学院医学系研究科)らの共同研究チームは、線虫をモデル系とする大規模リン酸化プロテオミクス解析を、世界に先駆けて成功させることにより、新規の記憶メカニズムを同定することに成功しました。 古くから記憶・学習の成立機構には様々な仮説が提案されてきましたが、現在のところシナプス説が最も有力です。シナプス説とは、記憶や学習が多細胞間の相互作用によって支えられており、特に神経回路網内でのシナプス伝達効率が変化する「シナプスの可塑的
リカレントニューラルネットなぜ強い？ - 武蔵野日記
午前中は言語学習支援・機械翻訳の進捗報告。それぞれ新しい研究で各自色々自分で進めているので、話を聞くのは楽しいのだが、年内に実験結果が出るのか？ という不安がそこはかとなくある。本当は、こんな締め切りに追われるような感じではなく、ゆっくりできるといいと思うのだが、締め切りに追われている方が進むという不思議（いや、あまり不思議ではないか）。 お昼は論文紹介。 Tang et al. Document Modeling with Gated Recurrent Neural Network for Sentiment Classification. EMNLP 2015. を紹介してもらう。感情極性分析では、頑張って素性エンジニアリングした SVM と、適当に作った畳み込みニューラルネットワークが同じくらいの性能になるらしいのだが、リカレントニューラルネットワーク（普通の RNN から、LST
意識は過大評価されている──『意識と脳――思考はいかにコード化されるか』 - HONZ
意識をめぐる本は最近も『意識はいつ生まれるのか――脳の謎に挑む統合情報理論』や『意識をめぐる冒険』が本職の神経科学者によるノンフィクションとして発表されるなど、翻訳(と出版)が比較的に途絶えない分野である。本書の著者もまた本職の認知神経科学者ではあるが、特異性は徹底した実証に基づく意識の定義、およびその応用可能性についての地道な記述であろう(他の著者が実証に基づいていないわけではなく、アプローチの違いであることは後述)。 本書では哲学的な謎を、実験によって検証可能な現象へと変えた戦略を詳しく解説する。この変化は「意識のより明確な定義」「意識的知覚を実験によって操作できるという発見」「主観的な現象に対する尊重」という三つの要素によって可能になった。 本書の構成は意識の定義、無意識及び意識の働きの実証的考察、意識に関する理論的仮説の提起、臨床現場への応用事例と段階を踏んで、かつ自身らの物を含む
Blue Brain Project｜脳回路の構成的理解に求められる、最低限の『リアルさ』とは？ - Mのメモ
Reconstrucion and Simulation of Neocortical Microcircuitry Henry Markram, Eilif Muller, Srikanth Ramaswamy, Michael W. Reimann, …., Javier DeFelipe, Sean L. Hill, Idan Segev, Felix Schürmann et al.,*1 Cell (2015), 163(2), 456–492 何を以て脳を理解したとするか。答えは十人十色でしょうが、一つの回答として、『少数のパラメーターを用いた数式で脳の挙動を近似的に再現できたなら』という構成的なアプローチが挙げられます。これを達成するためには、本質的なパラメーターの洞察だけでなく、その数式に用いられる定数の値を実験的に求めることが必要になってきます。例えば今から60 年以上前
Optimal Brain Surgeon
汎化性を確保するためには、課題の複雑さと利用可能なサンプルの数にマッチ するようにネットワークの大きさを決めることが重要である。そこで、学習結 果に応じてネットワークの大きさを変化させる方法もいくつか提案されている。 小さなネットワークからはじめて、徐々にネットワークを大きくするような方 法としては、例えば、Fahlman らの Cascade Correlation[35]、 the Group Method of Data Handinig (GMDH) に基づくもの [36,37,38]などがある。 一方、大きなネットワークから不要な(冗長な)結合荷重を徐々に取り除いて、 問題のサイズにマッチしたネットワークを構成する方法は、Pruning と呼ばれ、 いくつかの方法が提案されている。そのための最も直観的な方法は、結合荷重 の絶対値が小さい結合荷重を削除する方法である。しかし、結合荷
Seven neurons memorizing sequences of alphabetical images via spike-timing dependent plasticity - Scientific Reports
Thank you for visiting nature.com. You are using a browser version with limited support for CSS. To obtain the best experience, we recommend you use a more up to date browser (or turn off compatibility mode in Internet Explorer). In the meantime, to ensure continued support, we are displaying the site without styles and JavaScript.
IBM Research: Mimicking Neurons With Math
Artificial neural networks have long been studied with the hope of achieving a machine with the human capability to learn. Today’s attempts at artificial neural networks are built upon Hebb’s rule, which Dr. Donald Hebb proposed in 1949 as how neurons adjust the strength of their connections. Since Hebb, other “rules” of neural learning have been introduced to refine Hebb’s rule, such as spike-tim
IBM Japan Newsroom - Home
トップニュース IBM News Twitter IBM News YouTube IBM News Facebook IBM、オープンソース、製品、エコシステムの革新により、エンタープライズAIを大規模に推進するwatsonxの次章を発表IBM、スカイアーチネットワークスを買収し、日本におけるマルチクラウド・ハイブリッドクラウドの包括的なクラウド・サービス・プロバイダーとしてお客様の変革とビジネス成長をさらに支援理研、IBMの次世代量子システムをスーパーコンピュータ「富岳」に連携日本IBM、港区虎ノ門の新本社に移設したIBM Innovation Studioを拡充し、さらなる共創を推進IBM、生成AIを活用してウィンブルドンのパーソナライズされたファンエンゲージメントを促進 ‹ › 最新ニュース latest news 2024年07月 4日 AIIBM Consulting導入事例
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.biorxiv.org/content/10.1101/2021.12.02.471005v2.full.pdf
Expired
脳とつながる「バイオニック義手」手術が成功