Whether listening to overlapping conversations in a crowded room or recording the simultaneous electrical activity of millions of neurons, the natural world abounds with sparse measurements of complex overlapping signals that arise from dynamical processes. While tools that separate mixed signals into linear sources have proven necessary and useful, the underlying equational forms of most natural
pythonでヌルクラインを描く方法 いくつか方法があるようだけど、matplotlibとscipyを組み合わせる方法が良さそうだった。 FitzHugh南雲方程式 FitzHugh南雲方程式とは、一言でいうと神経細胞(ニューロン)の挙動を数理的に表した方程式のこと。 ニューロンのダイナミクスを電気生理学的にモデル化したものとしてはHodgkin-Huxley方程式が最も古く、今でもニューロンのモデル研究で使われることがある。*1 ホジキンハクスレイ方程式とは、ホジキンとハクスレーがヤリイカの巨大軸索における神経膜の電位変化を調べ、 4変数の微分方程式で書き下したもののことで、この研究で1963年のノーベル生理学賞を受賞している。 このモデルを出発点として色々なモデルの単純化が進められていて、 その代表例がこの FitzHugh-Nagumo方程式。 FitzHugh-Nagumo方程式は
Half a century ago, the pioneers of chaos theory discovered that the “butterfly effect” makes long-term prediction impossible. Even the smallest perturbation to a complex system (like the weather, the economy or just about anything else) can touch off a concatenation of events that leads to a dramatically divergent future. Unable to pin down the state of these systems precisely enough to predict h
TL;DR 勾配法はほとんどのケースで極小点に収束する(鞍点には収束しない) この事実は力学系や最適化の分野ではよく知られているが,機械学習では新しい? 数年前にバズった勾配法の比較動画は実際の学習現象を説明できていないかも 鞍点の近傍での振舞いで差がつく? いや,そもそも鞍点近傍に流れ込まないかも 比較動画に登場した鞍点は,実際にはまず生じないタイプかも 機械学習にも役立つモース理論 ほとんどすべての関数はモース関数 モース関数の臨界点のタイプはわずか $d+1$ 種類($d$ は定義域次元) 安定/不安定多様体とモース・スメール複体で勾配法の流れは分かる Monkey saddleはまず現れない(もし現れても簡単に消せる) 量的な問題に関しては,結局は実験するしかない この記事を書いたきっかけ 昨夜,ある論文を見かけて,ふとこんなツイートをした. ML業界,「勾配法が鞍点に収束する確率
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く