機械学習で抑えておくべき損失関数（分類編） - HELLO CYBERNETICS
はじめに ニューラルネットワーク 損失関数を考えるモチベーション 分類の損失関数 ０−１損失関数 分類における損失関数の基本 0-1損失の問題点と代理損失 色々な損失関数 分類の損失を考える上で重要な「正解と出力の積」 ロジスティック損失 指数損失 ヒンジ損失 平滑化ヒンジ損失 損失関数の図示 0-1損失で図の見方を確認 ロジスティック損失 指数損失 ヒンジ損失 平滑化ヒンジ損失 比較 最後に モデルの方の話 実際に使う場合の話 学習の評価は「正解・不正解」だけでない 回帰における損失関数 はじめに 機械学習における教師あり学習では、入力に対してパラメータを用いて関数を構築し、正解データに対して損失を定義し、これを最小化する手続きを取ります。 損失を、色々なとの組に対して計算し、その総和が最小化されるようにを決めることを学習と呼びます。これにより未知のデータを入力した時に、それに対する正解
機械学習の正則化項とは - pandazx's blog
機械学習の理論でよく見かけるので意味を調べてみました。 SVMにおける損失と正則化 http://d.hatena.ne.jp/tkng/touch/20090119/1232340992 このブログによると、たいていの機械学習のアルゴリズムは最小化するべき目的関数が、「損失関数+正則化項」という形をしている。 損失関数は、あるデータについて分類に失敗した場合に、その失敗具合に応じて与えるペナルティである。 つまり、機械学習は学習データをなるべく正しく分類するために、このペナルティを最小化する問題といえる。 学習する際に過学習という問題があるが、それを緩和させるための仕組みが正則化項を加えている理由。 正則化項は、モデルの複雑さを示す指標でもある。（なるべくモデルをシンプルにしたいので、そのための指標） ブログから引用すると、損失と正則化項の和を最少化するということは、できるだけ確信度を持
誤差逆伝播法のノート - Qiita
はじめに ※）「目標関数」をより一般的な名称である「損失関数（Loss Function）」表記に改めました．(2015Oct19) 誤差逆伝播法（以下，Backprop）は多層パーセプトロンを使う人にとってお馴染みのアルゴリズムですよね． いや，これだけ有名なアルゴリズムなのでちょっとネットで探してみれば沢山解説を見つけることが出来るのですが，Backpropを予測誤差の最小化に適用する場合の説明しかみつからないんです．（とはいえ，PRMLをちゃんと読めば全部載ってるんですが）. Backpropでできることは何なのか？ ということがあまり明らかではありませんでした． 大学の講義や教科書でのBackpropの説明はほとんど，「教師あり学習の文脈で多層パーセプトロンを識別器あるいは関数近似器として訓練する」という文脈でなされます．そのため，初学者はBackpropは教師あり学習のためのアル
損失関数 - 機械学習の「朱鷺の杜Wiki」
損失関数 (loss function)† 入出力をまとめたデータを \(z\)：クラス分類ならクラスと特徴ベクトルの対であり，回帰なら独立変数と従属変数の対． \(f\)：データを処理する関数 \(L(z;f)\)：損失関数 (loss function)は推定の悪さを定義した関数 回帰の場合は，データは \(z=(x,y)\) で，\(L(z,f)=(y-f(x))^2\) のような 二乗損失 (squared loss) が利用される クラス分類の場合は，データは \(z=(x,c)\) で，クラス \(c\) と関数の出力クラス \(f(x)\) が一致すれば 0，そうでなければ 1 をとる 0/1損失 (0/1 loss) が利用される \(f(\cdot;\theta)\) がパラメトリックな確率分布だったとき，対数損失は\(-\log f(\cdot;\theta)\)．この
統計的決定理論～平均値・中央値・最頻値って何？～ - tsujimotterのノートブック
「統計的決定理論」とは何か？はじめてこの名前を聞いた方も多いかと思います。まずはざっくりと統計的決定理論について説明してみましょう。 統計的決定理論とは、 「うーん、あっちが良いかもしれないなあ。いや、こっちかなあ。」 と決めかねているときに、 「男ならウダウダ軟弱なこと言ってないで一点に決めてみろ。」 と背中を押してくれる理論のことです。 単に背中を押すだけでなく、１つの答えを決定するための指針と方法を与えてくれます。男前な理論ですね。 とはいえ、この説明ではいったい何のことだか、よくわからないですよね（笑） 以下では、真面目に統計的決定理論について説明てみたいと思います。ちょっと長いですが、お付き合い頂けるとうれしいです。 1. 統計的決定とは ある確率分布にしたがう確率変数 θ を統計的に「妥当な」一点 α に決めるとき、この α を統計的決定といいます。 たとえば、θ の確率分布を
機械学習超入門III 〜機械学習の基礎、パーセプトロンを30分で作って学ぶ〜 - EchizenBlog-Zwei
機械学習には大きく分けて「識別関数」「識別モデル」「生成モデル」の3つの種類がある。このなかで識別関数は確率を使わないので初心者が入門するのに最適。 識別関数で有名なのはSVM(Support Vector Machine、サポートベクターマシン)。名前を聞いたことがある人も多いと思う。そこで早速SVMを学ぼうとすると敷居が高くて挫折しがち。 実はSVMは(大雑把に言うと)パーセプトロンという基礎的な識別関数に「マージン最大化」と「カーネル関数」という考え方を導入したもの。なので機械学習入門者は最初にパーセプトロンを学ぶのが良いと思われる。 そこで早速パーセプトロンを作ってみよう！というのが本記事の意図するところ。自分で実装できるとモチベーションが維持しやすいので、詳しく理論を学ぶ前にまずは作ってみようという考え。ちなみに実装にはperlを用いた。 参考: これからはじめる人のための機械学
統計的機械学習入門
統計的機械学習入門(under construction) 機械学習の歴史ppt pdf 歴史以前 人工知能の時代 実用化の時代 導入ppt pdf 情報の変換過程のモデル化 ベイズ統計の意義 識別モデルと生成モデル 次元の呪い 損失関数, bias, variance, noise データの性質 数学のおさらいppt pdf 線形代数学で役立つ公式 確率分布 情報理論の諸概念 (KL-divergenceなど) 線形回帰と識別ppt pdf 線形回帰 正規方程式 正規化項の導入 線形識別 パーセプトロン カーネル法ppt pdf 線形識別の一般化 カーネルの構築法 最大マージン分類器 ソフトマージンの分類器 SVMによる回帰モデル SVM実装上の工夫 クラスタリングppt pdf 距離の定義 階層型クラスタリング K-means モデル推定ppt pdf 潜在変数のあるモデル EMアル
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
