Gaussian Processes and Kernel Methods: A Review on Connections and Equivalences
This paper is an attempt to bridge the conceptual gaps between researchers working on the two widely used approaches based on positive definite kernels: Bayesian learning or inference using Gaussian processes on the one side, and frequentist kernel methods based on reproducing kernel Hilbert spaces on the other. It is widely known in machine learning that these two formalisms are closely related;
Some Math behind Neural Tangent Kernel
Date: September 8, 2022 | Estimated Reading Time: 17 min | Author: Lilian Weng Neural networks are well known to be over-parameterized and can often easily fit data with near-zero training loss with decent generalization performance on test dataset. Although all these parameters are initialized at random, the optimization process can consistently lead to similarly good outcomes. And this is true e
)
OpenSBIの内部実装(boot~linux kernelを実行するまで) - 私のひらめき日記
はじめに OpenSBIとはRISC-V向けに提供されたSBI(Supervisor Binary Interface)仕様の実装で、M-modeでの挙動が実装されている(linux kernelはS-modeとU-modeでの挙動が実装されている)。前回の記事でlinux kernel(v5.3.6)の下でOpenSBIを導入した手順を書いたが、今回はOpenSBIの内部実装(version: v0.5とする)がどの様になっているのかを追っていきたい。本記事では、OpenSBIのboot~mret~linux kernelを実行するまでをまとめた。次の記事では、trap handlerの内部実装を覗くつもりだ。 なお、xv6というMIT発の教育用OSでもrisc-v実装が公開されている。こちらは、self-containedな実装で、(当然)linux kernelとその周辺のコンポーネ
NTK
Neural Tangent Kernel 以下に示すようなカーネル $$k_{\mathrm{NTK}}(x_i, x_j) = E_{\theta \sim \N} \left\langle \frac{\partial f(x_i; \theta)}{\partial \theta}, \frac{\partial f(x_j; \theta)}{\partial \theta} \right\rangle$$ 特に, 入力をhypersphereに限定すると, MLPのNTKは $h_{\mathrm{NTK}}(\mathbf x_i^\top \mathbf x_j)$と内積の形で書ける 幅が無限にデカイ全結合層を考えると, 重みはほとんど初期値の近くしか動かず, このモデルはNTKによるカーネル回帰と同じ挙動をする(らしい) なので, NNの解析がかなり容易になる ただし,
特性カーネルと特性関数: Bochnerの定理 – Joe Suzuki (鈴木譲) 公式ブログ
機械学習でよく用いられるカーネルを用いた独立性検定で、カーネルが特性カーネルであることが要求される。福水健次先生の「カーネル法入門」で、特性カーネルとBochnerの定理の関係が書かれている。伊藤清先生のIntroduction to Probability Theoryで証明を追ってみたら、少し長いが、素人でもわかる感じがしたので、まとめてみた。2変数の差の関数として表されるカーネル(ガウスカーネルなど)を特性関数(確率分布のフーリエ変換)と見たときに、その対応する確率分布のサポートが実数全体となるとき、特性カーネルになる。Bochnerといえば、Bochner積分を思い出すが、尊敬できる数学者である。 読みにくい場合、ダウンロードしてください。
深層学習はガウス過程 - 作って遊ぶ機械学習。
おつかれさまです． 僕はあまり深層学習に関して記事を書くことはないのですが，ちょっと気になった論文があったので紹介します． [1711.00165] Deep Neural Networks as Gaussian Processes 論文はGoogle Brainの研究者らによるもので，NIPS2017 Bayesian Deep Learning WorkshopICLR2018にacceptされています．実は深層学習をガウス過程（Gaussian process）で構築するのはこの論文が初出ではないのですが，論文ではベイズ学習，深層学習，カーネル法を簡略かつ包括的に説明している内容になっているので非常に参考になります． さて，「深層学習はガウス過程」というのはちょっぴり宣伝的なタイトルにし過ぎてしまったのですが，もう少しだけ正確に論文の要点をまとめると次のようになります． 背景 単一
Stochastic Primal-Dual Coordinate Method for Regularized Empirical Risk Minimization
Stochastic Primal-Dual Coordinate Method for Regularized Empirical Risk Minimization Yuchen Zhang, Lin Xiao; 18(84):1−42, 2017. Abstract We consider a generic convex optimization problem associated with regularized empirical risk minimization of linear predictors. The problem structure allows us to reformulate it as a convex-concave saddle point problem. We propose a stochastic primal-dual coordin
PowerPoint Presentation
２．正定値カーネルと再生核ヒルベルト空間 正定値カーネルによるデータ解析 － カーネル法の基礎と展開 － 福水健次 統計数理研究所／総合研究大学院大学 統計数理研究所 公開講座 2011年1月13,14日 1 概要 • 正定値カーネル 定義と例 • 再生核ヒルベルト空間と正定値カーネル 再生核ヒルベルト空間の定義 正定値カーネルとの関係（Moore-Aronszajn theorem） 特徴写像 • 正定値カーネルとRKHSの基本的性質 正定値カーネルの性質 再生核ヒルベルト空間の性質 Bochnerの定理 2 概要 • 正定値カーネル 定義と例 • 再生核ヒルベルト空間と正定値カーネル 再生核ヒルベルト空間の定義 正定値カーネルとの関係（Moore-Aronszajn theorem） 特徴写像 • 正定値カーネルとRKHSの基本的性質 正定値カーネルの性質 再生核ヒルベルト空間の性質
今更聞けないリプレゼンター定理の解説
定義 リプレゼンター定理(Representer theorem)とは、 「損失関数が$\boldsymbol{\omega}^{ \mathrm{ T } }\boldsymbol{\phi}(\boldsymbol{x}_i)$（パラメータ$\boldsymbol{\omega}$と特徴ベクトルの積）の関数として表現できるとする。この損失関数に正則化項を加えて最適化する問題において、その正則化項が$\lambda\boldsymbol{\omega}^{ \mathrm{ T } }\boldsymbol{\omega}$という形をしていれば、その最適解$\hat{\boldsymbol{\omega}}$は$\boldsymbol{\phi}(\boldsymbol{x}_i)$で張られる空間に存在する」 というものである。 この定義だけでは理解し難いので、具体例を記しておく。 例え
グラフカーネルのメモ
Weisfeiler-Lehmanグラフカーネルについてのメモである．特に冒頭のグラフカーネルを俯瞰したイントロあたりを読んで面白かったので力尽きるまで読んだ．あと書いている人はカーネル法の研究者でもなければ，グラフに関した機械学習の研究者でもありませんので，気軽に読んでくださいね(これはいわゆる，マクドナルドで女子高生がXXメソッド)． N. Shervashidze et al., Weisfeiler-Lehman Graph Kernels, JMLR, vol. 12, pp. 2539-2561, 2011. お約束: Preliminary ラベル付きグラフG=(V, E, l)，ラベルは自然数とする． N(v)でvの近傍を表す． Walk: edgeの列で，Path: 異なる節点を通るようなWalk（たぶん） 部分木: サイクルを含まない部分グラフ 部分木パターン: 同じ節
https://infoscience.epfl.ch/record/217986/files/HarandiSalzmannPorikliCVPR16.pdf
When VLAD met Hilbert Mehrtash Harandi1 , Mathieu Salzmann2 , and Fatih Porikli1 1 NICTA∗ and Australian National University, Canberra, Australia 2 CVLab, École Polytechnique Fédérale de Lausanne (EPFL), Switzerland Abstract In many challenging visual recognition tasks where training data is limited, Vectors of Locally Aggregated De- scriptors (VLAD) have emerged as powerful image/video represe
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2022年度講義情報ページ
Kernel-Induced Sampling Theorem
Kernel Feature Selection via Conditional Covariance Minimization
Bayesian Inference of Log Determinants