気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
qiita.com/NaokiHamadaエントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
0
記事へのコメント0件
- 注目コメント
- 新着コメント
新着コメントはまだありません。
このエントリーにコメントしてみましょう。
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
勾配法は本当に鞍点近傍にはまるのか？モース理論で考えてみる - Qiita
TL;DR 勾配法はほとんどのケースで極小点に収束する（鞍点には収束しない） この事実は力学系や最適化の... TL;DR 勾配法はほとんどのケースで極小点に収束する（鞍点には収束しない） この事実は力学系や最適化の分野ではよく知られているが，機械学習では新しい？ 数年前にバズった勾配法の比較動画は実際の学習現象を説明できていないかも 鞍点の近傍での振舞いで差がつく？ いや，そもそも鞍点近傍に流れ込まないかも 比較動画に登場した鞍点は，実際にはまず生じないタイプかも 機械学習にも役立つモース理論 ほとんどすべての関数はモース関数 モース関数の臨界点のタイプはわずか $d+1$ 種類（$d$ は定義域次元） 安定/不安定多様体とモース・スメール複体で勾配法の流れは分かる Monkey saddleはまず現れない（もし現れても簡単に消せる） 量的な問題に関しては，結局は実験するしかない この記事を書いたきっかけ 昨夜，ある論文を見かけて，ふとこんなツイートをした． ML業界，「勾配法が鞍点に収束する確率
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
qiita.com/NaokiHamada
qiita.com/NaokiHamada
qiita.com/NaokiHamada
qiita.com/NaokiHamada
pc.watch.impress.co.jp
zenn.dev/necscat
openai.com
ta-nishi.hatenablog.com
www.itmedia.co.jp
zenn.dev/acntechjp
kai-you.net
gihyo.jp
internet.watch.impress.co.jp
www.nippon.com
www.asahi.com
news.livedoor.com
