勾配法は本当に鞍点近傍にはまるのか？モース理論で考えてみる - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? TL;DR 勾配法はほとんどのケースで極小点に収束する（鞍点には収束しない） この事実は力学系や最適化の分野ではよく知られているが，機械学習では新しい？ 数年前にバズった勾配法の比較動画は実際の学習現象を説明できていないかも 鞍点の近傍での振舞いで差がつく？ いや，そもそも鞍点近傍に流れ込まないかも 比較動画に登場した鞍点は，実際にはまず生じないタイプかも 機械学習にも役立つモース理論 ほとんどすべての関数はモース関数 モース関数の臨界点のタイプはわずか $d+1$ 種類（$d$ は定義域次元） 安定/不安定多様体とモース・スメール複体
シンギュラリティは近い ～全人類がいますぐ注目すべき特異点論と多目的最適化の知られざる関係～ - Qiita
はじめに Fujitsu Advent Calendar 2017 も25日目，とうとう最終日となりました．振り返れば今年1年，チェス・将棋・囲碁でトッププロを上回るAIが登場したり，日本のスパコンが環境性能世界ランキング上位を独占したり，ヒト型ロボットがバク宙したりと，シンギュラリティの到来を思わせるようなビッグニュースが度々報じられました．そんな1年の締めくくりとして，シンギュラリティについて解説しようと思います． さて，これから解説するシンギュラリティは，2045年に人工知能がどうこうという話ではなく，数学における 可微分写像の特異点論 (singularity theory of differentiable mappings) です．写像の微分がフルランクでない点＝写像が特別な振る舞いをする点を調べる理論です． ……待って！ブラウザをそっ閉じないで！この可微分写像の特異点論こそが
ニューラルネットワーク、多様体、トポロジー - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Christopher Olah氏のブログ記事 http://colah.github.io/posts/2014-03-NN-Manifolds-Topology/ の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 #ニューラルネットワーク、多様体、トポロジー 近年、深層ニューラルネットワークには多くの興奮と関心が寄せられています。コンピュータビジョンなどの分野でブレークスルーとなる成果を達成したためです。1 しかし、それにはいくつかの懸念が残ります。そのひとつは、ニューラルネットワークが実際に 何を やっているかを理解す
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
