PowerPoint プレゼンテーション
Nara Institute of Science and Technology Augmented Human Communication Laboratory ビッグデータのための機械学習 2015/10/23 ビッグデータアナリティクス 第３回 1 奈良先端科学技術大学院大学 吉野 幸一郎 NAIST AHC Lab. • 機械学習の基礎 – 教師あり学習、教師なし学習 – 事前確率、事後確率 – 最尤推定、MAP推定、ベイズ推定 – 単純ベイズ、ロジスティック回帰、条件付き確率場、 サポートベクターマシン、ニューラルネット、深層学習 • 機械学習における分散処理 • Apache Spark での機械学習 2015/10/23 ビッグデータアナリティクス 第３回 2 本日の内容 NAIST AHC Lab. 2015/10/23 ビッグデータアナリティクス 第３回 3 参考書 でき
カーネル法
カーネル法 線形回帰、識別からカーネル関数へ y ( w ) = wT φ (x ) という一般化した線形回帰式に対して 2 1N λT T J ( w ) = ∑ {w φ ( x n ) − tn } + w w 2 n =1 2 ただし ⎛ φ1 ( x n ) ⎞ ⎜ ⎟ φ (x n ) = ⎜ M ⎟ ⎜ φ (x ) ⎟ ⎝M n⎠ tnはw T φ ( x n )がとるべき値。 ( Mは教師データの次元数 , Nは教師データ数) という正規化項つきの２乗誤差を考えるとき、 φ (x )についてもう少し組織的に考えてみよう。 カーネル関数と呼ばれる k (φ (x ), φ ( y )) で回帰や識別を考え直す ことにより、より効率の良い方法が見えてくる。 双対表現 まず、正規化項つきの２乗誤差関数を考える。 J ( w) = 1 2 ∑ {w φ (x
これで解決！シリーズ 大学数学 - クーン・タッカーの必要条件
クーン・タッカーの必要条件 ああん、クーン・タッカーって本当に分からないわ。ベクトルの記号が多すぎて、何を言ってるのかさっぱりなの。 ははは。大丈夫じゃよ。教科書などで書いてある定義とやらをまずみてみようじゃないか。ラプラシアンというものを定義して、その勾配がゼロとなるときがアヤシイっていうだけのことじゃが、ちょっと英語やら記号やらで身構えてしまいそうじゃな。 一つ一つの演算は出来るんだよ。勾配を計算したりとか、ベクトルの計算など。でも、なぜこんなものたちが急に出てきたかなんていうことがサッパリだよ。 ラプラシアンがなぜ急に出てきて、なぜそれの勾配がゼロとなるときが最小または最大になりうるのか、という根本的な疑問だね。でも心配いらないよ。実はね、真ん中に出てきている∇L=0という条件の式は、実はベクトルのつりあいの式なんだよ。 ベクトルのつりあいの式？∇L=0が？ 高校で学んだ力学に出てき
最適化：非線形計画について(最急降下、ニュートン、KKT条件)とNP困難問題に対する動的計画法 - 雑なメモ
2015-01-13 最適化：非線形計画について(最急降下、ニュートン、KKT条件)とNP困難問題に対する動的計画法 書きかけ 最適化 非線形計画 この記事の内容 試験が近いからぱっとノートとかまとめた記事。細かい定義とかは省略してます。そして特に断りが無い限りはベクトルで、といった添字のあるものはベクトルではない単なる実数か定義域の内部にある数の一つです。あと微分可能性とかはほぼ触れてないので察してください。 参考文献 [1] 数理計画入門(1996) 福島雅夫著 朝倉書店 過去のメモ 非線形計画の最適化問題：最急降下法、ニュートン法、KKT条件まで - 雑なメモ 非線形計画の最適化問題：最急降下法、ニュートン法、KKT条件まで - 雑なメモ 途中までは、上の記事とほぼ同じ内容。 このつぎのメモ（こっちの方が最新） 最適化：非線形計画＋組み合わせ最適化のまとめのメモ - 雑なメモ
SVM(Support Vector Machine)
１．SVM(Support Vector Machine) SVM(Support Vector Machine)は，1960年代に Vapnik によって提案された二値分類のための教師ありアルゴリズムである[1]。 1990年代になってカーネル学習法と組み合わせた非線形識別手法として脚光を浴びた。 そういう点で、ニューラルネットワークよりも誕生が新しい技法と言える。 図１では２次元データを平面上にプロットしたものである。○と●の２種類がある。 例えば、ある花の２品種について、花びらの長さと幅をプロットしたようなものである。 斜めに引いた実線は二つの品種を分ける境界線である。 現在プロットしているデータが学習データに当たる。 観測データに関しては、この境界線より左上側に位置するようならば、○（正）に分類し、 そうでなければ●(負)に分類するものである。 境界線の求め方を点線で示している。
ラグランジュの未定乗数法のイメージ - 小人さんの妄想
ある一定の制約条件の下で、関数の最大値（あるいは最小値）を求めたいとき、 「ラグランジュの未定乗数法」という便利な計算方法があります。 たとえば、決まった燃費の下で一番速い車を作れとか、 決まった資本を割り当てて利潤が最大になる方法を探せとか、 実際問題としてもかなり役立つ計算方法です。 さて、ある関数の最大値（あるいは最小値）を求めるには、微分して０になる点を探すという方法が定番です。 微分して０になる点というのは、「山のてっぺんか、谷の底」に相当するからです。 しかし、そこに何らかの制約条件が加わったら、どうでしょうか。 例えば Wikipediaを見ると >> wikipedia:ラグランジュの未定乗数法 関数: f(P1,P2,P3･･･,Pn) = - Σ Pk log2 Pk が最大となる点を、 制約条件: g(P1,P2,P3･･･,Pn) = Σ Pk - 1 が 0 とな
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
