タグ

ブックマーク / qiita.com/pocokhc (1)

  • 金子勇さんのED法を実装してMNISTを学習させてみた - Qiita

    追記:続きを書きました。 その2:ED法を高速化してその性能をMNISTで検証してみた その3:ED法+交差エントロピーをTF/Torchで実装してみた(おまけでBitNet×ED法を検証) はじめに 先日以下の記事が投稿され、その斬新な考え方に個人的ながら衝撃を受けました。 内容をざっくり言うと、ニューラルネットワークの学習を現在の主流であるBP法(誤差逆伝播法)ではなく、ED法(誤差拡散法)という新しい学習手法を提案しているものです。 もし記事の内容が当ならニューラルネットワークの学習がO(1)でできてしまう事になり、まさしく革命が起きてしまいます。 (結論からいうと速度面はそこまででもなかったです(それでも早くなる可能性あり)) (ただこの新手法のポテンシャルは革命を起こす可能性は秘めているといっても過言ではありません) ED法に関してネットを探すとインターネットアーカイブに情報が

    金子勇さんのED法を実装してMNISTを学習させてみた - Qiita
    mangakoji
    mangakoji 2024/04/30
    いやいや、領域をXORした条件を学習させるのには、パーセプトロンを何段も重ねる必要がある。というのは1980年代初期には言われてますよ。ただ、一瞬で発散するので、学習させる方法がない。というだけで、
  • 1