勾配法は本当に鞍点近傍にはまるのか？モース理論で考えてみる - Qiita
TL;DR 勾配法はほとんどのケースで極小点に収束する（鞍点には収束しない） この事実は力学系や最適化の分野ではよく知られているが，機械学習では新しい？ 数年前にバズった勾配法の比較動画は実際の学習現象を説明できていないかも 鞍点の近傍での振舞いで差がつく？ いや，そもそも鞍点近傍に流れ込まないかも 比較動画に登場した鞍点は，実際にはまず生じないタイプかも 機械学習にも役立つモース理論 ほとんどすべての関数はモース関数 モース関数の臨界点のタイプはわずか $d+1$ 種類（$d$ は定義域次元） 安定/不安定多様体とモース・スメール複体で勾配法の流れは分かる Monkey saddleはまず現れない（もし現れても簡単に消せる） 量的な問題に関しては，結局は実験するしかない この記事を書いたきっかけ 昨夜，ある論文を見かけて，ふとこんなツイートをした． ML業界，「勾配法が鞍点に収束する確率
シンギュラリティは近い ～全人類がいますぐ注目すべき特異点論と多目的最適化の知られざる関係～ - Qiita
はじめに Fujitsu Advent Calendar 2017 も25日目，とうとう最終日となりました．振り返れば今年1年，チェス・将棋・囲碁でトッププロを上回るAIが登場したり，日本のスパコンが環境性能世界ランキング上位を独占したり，ヒト型ロボットがバク宙したりと，シンギュラリティの到来を思わせるようなビッグニュースが度々報じられました．そんな1年の締めくくりとして，シンギュラリティについて解説しようと思います． さて，これから解説するシンギュラリティは，2045年に人工知能がどうこうという話ではなく，数学における 可微分写像の特異点論 (singularity theory of differentiable mappings) です．写像の微分がフルランクでない点＝写像が特別な振る舞いをする点を調べる理論です． ……待って！ブラウザをそっ閉じないで！この可微分写像の特異点論こそが
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
