線形識別器でカーネルトリックを使う方法 - Preferred Networks Research & Development
WEB+DB PRESS Vol.64に「作って学ぶ日本語入力」という特集記事を書かせていただきました。徳永です。全国の書店で発売中ですので、ぜひみなさんお買い求めください。（宣伝） さて今回は、線形識別器でカーネルを使うのと同じ効果を得るための手法を紹介したいと思います。 カーネルとは SVMはカーネルトリックによって非線形識別を可能としたことによって、研究コミュニティで大流行しました。 カーネルトリックは線形空間では線形分離できないデータを高次元空間に写像してそっちで線形分離しちゃおう、でも高次元に実際に写像してしまうと計算量が増えちゃうから、問題を等価な形に変形して高次元に写像した場合と同じ結果を高速に計算しようね、というテクニックです。具体的には、高次元データが出てくる部分は全部内積で書ける形に変形し、この内積の部分をカーネルと呼ばれる特殊な関数で置き換えます。 結局、自然言語処理
今更聞けないリプレゼンター定理の解説
定義 リプレゼンター定理(Representer theorem)とは、 「損失関数が$\boldsymbol{\omega}^{ \mathrm{ T } }\boldsymbol{\phi}(\boldsymbol{x}_i)$（パラメータ$\boldsymbol{\omega}$と特徴ベクトルの積）の関数として表現できるとする。この損失関数に正則化項を加えて最適化する問題において、その正則化項が$\lambda\boldsymbol{\omega}^{ \mathrm{ T } }\boldsymbol{\omega}$という形をしていれば、その最適解$\hat{\boldsymbol{\omega}}$は$\boldsymbol{\phi}(\boldsymbol{x}_i)$で張られる空間に存在する」 というものである。 この定義だけでは理解し難いので、具体例を記しておく。 例え
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習における最適化理論と学習理論的側面(第三部：深層学習の最適化)
http://ibis.t.u-tokyo.ac.jp/suzuki/lecture/2020/intensive2/KyusyuStatZemi2020.pdf
