Some Math behind Neural Tangent Kernel
Date: September 8, 2022 | Estimated Reading Time: 17 min | Author: Lilian Weng Neural networks are well known to be over-parameterized and can often easily fit data with near-zero training loss with decent generalization performance on test dataset. Although all these parameters are initialized at random, the optimization process can consistently lead to similarly good outcomes. And this is true e
特性カーネルと特性関数: Bochnerの定理 – Joe Suzuki (鈴木譲) 公式ブログ
機械学習でよく用いられるカーネルを用いた独立性検定で、カーネルが特性カーネルであることが要求される。福水健次先生の「カーネル法入門」で、特性カーネルとBochnerの定理の関係が書かれている。伊藤清先生のIntroduction to Probability Theoryで証明を追ってみたら、少し長いが、素人でもわかる感じがしたので、まとめてみた。2変数の差の関数として表されるカーネル(ガウスカーネルなど)を特性関数(確率分布のフーリエ変換)と見たときに、その対応する確率分布のサポートが実数全体となるとき、特性カーネルになる。Bochnerといえば、Bochner積分を思い出すが、尊敬できる数学者である。 読みにくい場合、ダウンロードしてください。
深層学習はガウス過程 - 作って遊ぶ機械学習。
おつかれさまです． 僕はあまり深層学習に関して記事を書くことはないのですが，ちょっと気になった論文があったので紹介します． [1711.00165] Deep Neural Networks as Gaussian Processes 論文はGoogle Brainの研究者らによるもので，NIPS2017 Bayesian Deep Learning WorkshopICLR2018にacceptされています．実は深層学習をガウス過程（Gaussian process）で構築するのはこの論文が初出ではないのですが，論文ではベイズ学習，深層学習，カーネル法を簡略かつ包括的に説明している内容になっているので非常に参考になります． さて，「深層学習はガウス過程」というのはちょっぴり宣伝的なタイトルにし過ぎてしまったのですが，もう少しだけ正確に論文の要点をまとめると次のようになります． 背景 単一
Stochastic Primal-Dual Coordinate Method for Regularized Empirical Risk Minimization
Stochastic Primal-Dual Coordinate Method for Regularized Empirical Risk Minimization Yuchen Zhang, Lin Xiao; 18(84):1−42, 2017. Abstract We consider a generic convex optimization problem associated with regularized empirical risk minimization of linear predictors. The problem structure allows us to reformulate it as a convex-concave saddle point problem. We propose a stochastic primal-dual coordin
今更聞けないリプレゼンター定理の解説
定義 リプレゼンター定理(Representer theorem)とは、 「損失関数が$\boldsymbol{\omega}^{ \mathrm{ T } }\boldsymbol{\phi}(\boldsymbol{x}_i)$（パラメータ$\boldsymbol{\omega}$と特徴ベクトルの積）の関数として表現できるとする。この損失関数に正則化項を加えて最適化する問題において、その正則化項が$\lambda\boldsymbol{\omega}^{ \mathrm{ T } }\boldsymbol{\omega}$という形をしていれば、その最適解$\hat{\boldsymbol{\omega}}$は$\boldsymbol{\phi}(\boldsymbol{x}_i)$で張られる空間に存在する」 というものである。 この定義だけでは理解し難いので、具体例を記しておく。 例え
グラフカーネルのメモ
Weisfeiler-Lehmanグラフカーネルについてのメモである．特に冒頭のグラフカーネルを俯瞰したイントロあたりを読んで面白かったので力尽きるまで読んだ．あと書いている人はカーネル法の研究者でもなければ，グラフに関した機械学習の研究者でもありませんので，気軽に読んでくださいね(これはいわゆる，マクドナルドで女子高生がXXメソッド)． N. Shervashidze et al., Weisfeiler-Lehman Graph Kernels, JMLR, vol. 12, pp. 2539-2561, 2011. お約束: Preliminary ラベル付きグラフG=(V, E, l)，ラベルは自然数とする． N(v)でvの近傍を表す． Walk: edgeの列で，Path: 異なる節点を通るようなWalk（たぶん） 部分木: サイクルを含まない部分グラフ 部分木パターン: 同じ節
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2022年度講義情報ページ
Kernel-Induced Sampling Theorem
Kernel Feature Selection via Conditional Covariance Minimization
Bayesian Inference of Log Determinants