主成分分析とカーネル主成分分析の関係を特異値分解の観点で理解する - Qiita
はじめに 前回、線形回帰とカーネル回帰について書いた記事 の続きのような感じで、主成分分析とカーネル主成分分析を取り上げます。 PRMLやその他の本を読んでいて難しく感じたカーネル主成分分析の導出について、普通の書き方とは別の視点でまとめてみます。 自分なりに考えた結果、特異値分解の知識を背景にすれば、主成分分析とカーネル主成分分析の関係がすっきり理解できると思うのですが、本やネットで言及しているものが見当たらないので、記事にしました。 まとめると、以下のようなことです。 主成分分析は共分散行列の固有値問題に帰着する カーネル主成分分析はグラム行列の固有値問題に帰着する これらはどちらも計画行列の特異値分解を（それぞれ別の方面から）解いていることに相当する。 データベクトル $x$ が $N$ サンプルあるとします。データをそのまま使ってもよいのですが、カーネル法のことも考えると、より一般
機械学習をこれから始める人の線形代数を学ぶモチベーション - HELLO CYBERNETICS
はじめに 機械学習に使われる主要な数学 線形代数 最も重要な理由 線形代数って何なんだ？ 線形代数を学ぶモチベーション 線形代数を学んで、できるようになること 補足 微分積分学は？ 確率統計は？ 確率・統計を考えていくための初歩を確認したい人は以下の記事へ はじめに この記事は、私が機械学習を学んできて感じた、数学の役割をまとめたものです。記事を書く上で特に意識したのは、ある数学が機械学習においてどのように活躍し、どのような旨味をもたらしたのか、そして、そこから数学を学ぶ意義を改めて抑えることです。 数学の解説をすることが目的ではないため、直接的に数学の疑問を晴らすということにはなりませんが、 これから機械学習を学んで行こうという場合に、数学がどのように役立ちうるのか、その全体像を予め把握しておくことに使っていただけると幸いです。 機械学習に使われる主要な数学 多くの書籍、多くの記事が世の
ニューラルネットワークの普遍性定理 - Qiita
ニューラルネットワークって何かな〜って調べていたら普遍性定理(universal approximation theorem)という面白そうなものを見つけたのでCybenkoさんの有名な論文で証明を追ってみました。日本語でこの定理の証明まで書いてくれているところはざっと見た感じ無かったのでTeX打ちの練習も兼ねてQiitaに纏めてみようってことでこの記事を書きました。この記事ではCybenkoさんの論文を少し一般化した普遍性定理を述べます。証明はほとんどCybenkoさんによる証明に基づいています(一部修正しているくらい)。 この記事の目的は皆さんに普遍性定理の内容と証明を伝えることなのですが、証明に使う数学はそれなりに高級で誰でも読めるように書くのは難しかったので、以下に挙げる3つの分野すべてに少しでも触れたことがある人を読者として想定しています。 位相空間論 測度論・積分論 関数解析学
競プロ er のための群論 (swap と順列と対称群)
この記事はブログから移植したものです。 この記事では競技プログラミングと群論に関する解説をします。競技プログラミングの問題を群論という立場から見ることで、新たな視点を得ることができるようになると思います。また、群論の入門にもなればいいなと思っています。 swap と順列 競技プログラミングの問題に、swap と順列は多く登場します。swap とは、2 つの要素を入れ替える操作のことです。例えば、次のような問題があります。 第二回全国統一プログラミング王決定戦予選 C - Swaps N 要素からなる 2 つの整数列 A_1,\ldots,A_N および B_1,\ldots,B_N が与えられます。以下の操作を N-2 回まで (0 回でもよい) 行うことで、1 以上 N 以下のすべての整数 i に対して A_i\le B_i となるようにできるか判定してください。 1 以上 N 以下の相
損失関数の性能を上げる手法SAMの要約とdual norm problem - Qiita
導入 『SoTAを総なめ！衝撃のオプティマイザー「SAM」爆誕&解説！』を読んでいると「dual norm problemがわからない」という記述があったのですが、その説明がコメントで書くには長くなりそうだったので記事にしました。 文脈であるSAMの紹介をした後に、dual norm problemとは何かを説明し、dual norm problemを解きます。 SAMの超要約 損失関数が与えられたとき、近傍での損失の最大値を新たな損失関数として定義する手法がSAMです。 要約を書いていたところ長くなってしまったので短くしましたが、せっかくなので元のバージョンも残しておきます。 SAMとはある損失関数を元に新しい損失関数を作る方法、及びその新しい損失関数の勾配の近似計算法のことです。 $L^2$ 正則化はある損失関数に対して $L^2$ 損失を加えた損失関数を考えるという手法ですが、SAM
Transformer: アテンションの計算式の意味を数理的に理解する
はじめに Transformerにおけるアテンションの計算式は、scaleを無視すると以下のように計算される[1]。 \text{output} := \text{softmax}(QK^\top) \tag{1}V この計算が数理的にどのような意味を持つのかについて考察する。 記法 以下の議論では、表記を簡単にするため、「Xの埋め込みベクトルのシーケンス」を単に「Xのシーケンス」と表現する。 考察 まず、式(1)の計算は以下の2つのパートに分割できる: アテンションスコアの計算 特徴量の選択 1. アテンションスコアの計算 \text{softmax}(QK^\top)の部分である。ここで、Q, Kはそれぞれ(n, d)次元のベクトルとする。nはシーケンス長で、dは埋め込みベクトルの次元である。すなわち、Q, Kの行方向はトークンのシーケンスを表し、列方向は埋め込みベクトルを表す。この時
最小二乗法でシステム同定やってみた - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 私が制御工学を学び始めたとき、「これを学んでいけばモータを自由に制御できるようになるのか！」と思い、古典制御、現代制御と勉強を続けましたが、「これってモデルがある前提で説明してくるけど、そもそもモデルってどうやって求めるの？」という疑問が湧きました。制御工学を学んでいる人でもこういった疑問を持つ人は多いのではと思ったので、今回は実際に水平1軸アームシステムを対象に、システム同定を行い、モデルの妥当性を簡単に評価したいと思います。 目次 1. システム同定とは 2. 水平1軸アームシステムのモデル 3. 同定入力の選定 4. シ
ニューラルネットの積分表現理論――リッジレット変換とオラクルサンプリングによる3層パーセプトロンの学習の数値実験 - Qiita
概要 園田翔『深層ニューラルネットの積分表現理論』[3]という論文の中で「(浅い)ニューラルネットワークがしていることは 双対リッジレット変換 (の離散化)である」ということが解説されています． この論文では入力を一般の $m$ 次元にとり，活性化関数として ReLU やシグモイド関数を含む超関数のクラスに対して結果を与えています．が，そのぶんとても難しいです． 1 そういうわけで，本稿では上の論文で提案されている「オラクルサンプリング」という手法を 活性化関数として Gauss 核 $\eta(x) = \exp(-x^2/2)$ (急減少関数)を用い， $m = 1$ 次元の場合に限って 解説し，さらにその数値実験をしようと思います． (本稿を読む前に園田先生のスライド[2]に目を通しておくことをおすすめします．) 使ったもの Python 3.6.0 Chainer v3.1.0 O
グラフ信号処理におけるサンプリングと復元 - 甲斐性なしのブログ
はじめに グラフ信号処理に関する日本語の書籍が昨年発売された。 グラフ信号処理の基礎と応用: ネットワーク上データのフーリエ変換,フィルタリング,学習 (次世代信号情報処理シリーズ 5) 作者:田中 雄一コロナ社Amazon 本記事ではその中で解説されているグラフ信号のサンプリングと部分空間情報を利用した復元について簡単にまとめた上で、実際に試てみた際のコードと結果を紹介する。 グラフ信号処理の諸概念 グラフ信号 グラフ信号は下図のようにグラフの各頂点上に値を持つ信号である。 このような頂点上に値を持つグラフの例としては、空間上に配置された複数のセンサーが挙げられる。これは、近くにあるセンサー同士が辺でつなげば、その計測値はグラフ信号とみなせる。それ以外にも、路線図と各駅の人口、SNSのつながりと各ユーザの特性（年齢などの何らかの数値）等々、グラフ信号としてモデル化できる現実の事象は様々存
機械学習をやる前に学んでおくべき最低の数学
機械学習を勉強する前に学んでおくべき最低の数学の範囲について、あれこれ議論されている*1。この手の議論、なかなか不毛である。ライブラリをブラックボックスとして使う分には、数学の知識はほぼ不要。中身を考えながら使うには、大学の学部の微分積分と線形代数と確率・統計の教科書をまずは頑張れと言う自明な話になるからだ。 1. ライブラリの利用に数学はほぼ要らない 本当にライブラリ利用者としては、数学の知識をほとんど要求されない。例えばSVMの分類器を構築するのに、プログラマが指定する必要があるのは、分類先と識別のための特徴量が入った学習データと、データの項目間の関係を説明する文、チューニングするのに使えるオプションが幾つかあるぐらいだ。オプションは経験的に精度が良くなるように選ぶ。これはランダムフォレストなどでも同じになる。 ディープラーニングのライブラリ、TensorFlowだと行列形式の乗算と加
数学的バックグラウンドが無い人は理論を勉強しようと思っても厳しい - studylog/北の雲
という事を痛切に悟りました。無理・無茶です。2015に出たLSTMとかCNNの教科書的の段階ならば、自分みたいな人間でも頑張って青本読んでも何とか理解できました。でもそのレベルでは特に自然言語処理関係であまり実用的なモノは作れません。LSTMで言語モデル作って文章出力して「知性！(実際はワードサラダ)」とか言ってた牧歌的な時代はもうとうの昔に過ぎ去りました。数学的バックグラウンドが無いと最新論文見ても何がなんだかわかりません。論文を簡単に説明してくれているブログ記事を読んでも理解できなくなってきました。片手間では無理ですね。 理論を理解するのは諦めて、他の人の成果物(論文)を誰かがコード実装してくれてそれを使ってなんかやるっていう方向性に特化しないと全部中途半端になっちゃうでしょう。最低限CNNの畳み込み・フィルタとかDropoutとかそのレベルぐらいまでは理解しないと誰かが書いたコードす
異空間散歩！双曲空間を歩いてみよう。 - ぬぬろぐ
この記事は、scouty Advent Calendar の14日目です。 本記事には、線の束がウネウネ動くgif動画があります。人によっては気持ち悪いと感じるかもしれませんので、苦手な方はご注意ください。 双曲空間埋め込み - Poincaré Embedding 近年、機械学習界隈で双曲空間(Hyperbolic geometry) への埋め込み(Poincaré Embedding; Nickel & Kiela, 2017)1が流行っています。 双曲空間は、ユークリッド空間(普通のN次元空間)と異なり、原点から遠ざかるに連れて(正確な表現ではありませんが)急激に空間が拡がるという性質を持っています。このため、ユークリッド空間では不可能であった『木構造の埋め込み』が双曲空間においては可能となる2など、少ない次元でより複雑な構造を扱うことができる点が注目されています。 今年のICML
整数計画問題における実行可能解の分布の可視化 - 数理最適化・進化計算に関する雑記帳
はじめに 整数計画問題における実行可能間の距離とProximate Optimality Principle 可視化方法 インスタンス ソルバ 可視化結果 考察 おわりに 参考文献 はじめに 組合せ最適化問題に対するメタヒューリスティクスの設計では，解くべき問題に対して「良い解同士は似通った構造をもっている」という仮定をしばしばおきます[1]．この仮定はProximate Optimality Principle（以降，本文ではPOPと略記）とよばれ，メタヒューリスティクスの基本戦略である「探索の集中化」の前提になっています．多くのメタヒューリスティクスは探索の集中化に加え「探索の多様化」とよばれる戦略を適切に組み込むことで高い探索性能の実現を図っています[1][2]． 本記事では，私がとくに興味をもっている整数計画問題に話を限定し，実行可能解の分布の可視化を通して，POPの成立性とメタヒ
空間をめぐる旅 - Qiita
機械学習のための数学を学んでいて戸惑うもの、茫漠としてつかみどころがない、なのに至るところで重要な役割というかそもそも土台となっている概念に「空間」がある。しかも日常の言葉なので なんでこんなに沢山の種類の空間があるのか なにがどう違いがあるのか がさっぱり分からない。かつ、テキストを読んでも定義、定義のオンパレードでわけがわからない。ので、ほんの気持ちだけでも分かるようにまとめてみた。 手元の本でざっと拾っただけでもこれだけあり、ちょっとだけ学んだイメージと名前の響きから平易な概念→難解な概念順に並べてみた（独断と偏見） （素朴な）空間 ユークリッド空間 ベクトル空間 距離空間 内積空間 ノルム空間 位相空間 アフィン空間 ヒルベルト空間 共役空間 バナッハ空間 ハウスドルフ空間 …… これらをWebで探してみると * 北野坂備忘録：再生核ヒルベルト空間 * ベクトル空間、ノルム空間、内
物理学で理解するグラフフーリエ変換 - Qiita
目的 グラフニューラルネットワークの論文を読んでいると突然 グラフフーリエ変換後のフィルタリングを1次の項までで近似すると以下の式が導出できる. ここの$\theta_0$と$\theta_1$と$\vec{\beta}$を学習させる. $$P^{T}(\theta_0I+\theta_1\Lambda) P\vec{x}+\vec{\beta}$$ ここで$\Lambda$はラプラシアン行列の固有値行列で, $P$がラプラシアン行列の対角化行列である. などといった文章が出てくることがある. これについて信号処理の知識で導出している文書は多いものの, 恥ずかしながら筆者は信号処理に明るくないためよく理解できなかった. そのため, 筆者と馴染みのある物理学の知識を用いて上式の導出を行う. (そういった背景なので, いい加減なことを言っていたら訂正してくれるとありがたいです) 導出 出力$\
機械学習をこれから始める人の線形代数を学ぶモチベーション - HELLO CYBERNETICS
はじめに 機械学習に使われる主要な数学 線形代数 最も重要な理由 線形代数って何なんだ？ 線形代数を学ぶモチベーション 線形代数を学んで、できるようになること 補足 微分積分学は？ 確率統計は？ 確率・統計を考えていくための初歩を確認したい人は以下の記事へ はじめに この記事は、私が機械学習を学んできて感じた、数学の役割をまとめたものです。記事を書く上で特に意識したのは、ある数学が機械学習においてどのように活躍し、どのような旨味をもたらしたのか、そして、そこから数学を学ぶ意義を改めて抑えることです。 数学の解説をすることが目的ではないため、直接的に数学の疑問を晴らすということにはなりませんが、 これから機械学習を学んで行こうという場合に、数学がどのように役立ちうるのか、その全体像を予め把握しておくことに使っていただけると幸いです。 機械学習に使われる主要な数学 多くの書籍、多くの記事が世の
『線形代数とネットワーク』前半を読み、木の意義について理解してみる - 機械のように今を輝き、少女のようにここを定義せよ
記号を整理する 記号の意味 記号の直感的理解 すべては木だった さいごに 参考文献 最近は「グラフ」、ようはネットワークのことですが、 の話題をいろいろな所で目にします。 何か数理科学的な問題を考える上で、 その表現の幅が豊かであるためでしょうか。 しかし一方で、 それぞれのグラフがどんなグラフなのか、 その「性質」をヒトコトで言うのはなかなか 難しいようです。 そんな中、ある本を読んでいて、 グラフでもやはり「行列式」が 一定の意味のある働きをしているようで、 これにそこはかとない快さを感じました。 この理解を改めて整理したく、 要点を簡潔にまとめてみたいと思います。 結論を先取りすると、 グラフについてある表現をしたとき、 グローバルな性質の１つである行列式が、 結局、木の数になるということ。 この木の数というのが、 電気回路などで重要視される、 （あるいは自分だったら因果とかでも 気
有用な確率不等式のまとめ - Counterfactualを知りたい
はじめに 機械学習に関連する諸分野では何かしらの統計量（期待判別誤差やリグレットなど）を上から評価したい場面が多くあります. そのような場面で大活躍するのが確率不等式と呼ばれる不等式の数々です. 今後本ブログでもこれらの不等式を多用することが予想されるため, 一度まとめておきます. いくつかの不等式は証明もします. 証明は, MLPシリーズの『統計的学習理論』のAppendix Aを参考に, 自分なりに行間を埋めてみました. 目次 はじめに 目次 Jensen's inequality Markov's inequality / Chebyshev's inequality Hoeffding's inequality McDiarmid's inequality さいごに 参考 Jensen's inequality まず, 凸関数の定義を確認します. 凸関数: 関数が, 任意の と任意
変分ベイズに関する復習 - Qiita
はじめに 前回は、エントロピー・KL divergenceに関する基本的なことを復習しました。 今回は、変分ベイズに関する基本的なことを書いていこうと思います。 変分ベイズをまとめると、以下の通りです。 （自分なりの大まかな解釈です。） 今、自分たちはAについて知りたい。しかし、Aを直接知ることは困難 なので、良く分からないAを計算せず、計算可能なBについて考える BをなるべくAに近づけるよう形で定義したい ある基づいてBをAに近づけていく 十分にAに近づいたBは、もはや自分たちが知りたかったAと見なせる 少しざっくりしてますが、こんな風に理解しています。 では、この内容を具体的に考えていきます。 目的 目的は、観測データから未知の変数を求めることです。 $y$ を観測データ、$z$を推定したい未知の変数とすると、この問題は
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
テトリミノの偏り補正から見るテトリスの歴史
