損失関数 - 機械学習の「朱鷺の杜Wiki」
損失関数 (loss function)† 入出力をまとめたデータを \(z\)：クラス分類ならクラスと特徴ベクトルの対であり，回帰なら独立変数と従属変数の対． \(f\)：データを処理する関数 \(L(z;f)\)：損失関数 (loss function)は推定の悪さを定義した関数 回帰の場合は，データは \(z=(x,y)\) で，\(L(z,f)=(y-f(x))^2\) のような 二乗損失 (squared loss) が利用される クラス分類の場合は，データは \(z=(x,c)\) で，クラス \(c\) と関数の出力クラス \(f(x)\) が一致すれば 0，そうでなければ 1 をとる 0/1損失 (0/1 loss) が利用される \(f(\cdot;\theta)\) がパラメトリックな確率分布だったとき，対数損失は\(-\log f(\cdot;\theta)\)．この
そのモデル、過学習してるの？未学習なの？と困ったら - once upon a time,
移転しました。 https://chezo.uno/post/2016-05-29-sonomoderu-guo-xue-xi-siteruno-wei-xue-xi-nano-tokun-tutara/
次元の呪いについて - Qiita
この記事について 以下の観点から高次元空間の性質についてまとめます。 次元数と最近傍・最遠傍との距離の関係 データ数と最近傍・最遠傍との距離の関係 人工データと実データの比較 はじめに 機械学習を使って何らかのタスクを解く上で、データの次元数は常に気にする必要があります。なぜなら、機械学習で扱う多くの問題はデータの次元数が大きくなるごとに難易度が跳ね上がるからです。 「次元の呪い」とも呼ばれるこの問題の原因は、高次元空間の性質にあると言われています。 データの次元数を大きくすると、私達の直感に反する興味深い挙動が確認できます。今回は、高次元空間の性質を簡単な数値実験で調べてみました。 次元の呪いとは データの次元数が高次元になると、データが空間の外側に集中して分布する現象です。 高次元空間の直感的な理解のためには下記が参考になると思います。 次元の呪い、あるいは「サクサクメロンパン問題」
アニメ推薦くんの精度について - はこべにっき ♨
今季見るべきアニメを機械学習で推薦する に対してなんか精度評価のしかたおかしくない? とご意見をいただきました (指摘1, 指摘2 ) 調べたところたしかにいろいろおかしくて、F値が0.9をこえるスコアも実際よりもかなり高いことがわかったのでご紹介します。ご指摘ありがとうございます :bow: 。 おかしかったところ 教師データをあたえるときには1とラベル付けされたデータと0と、ラベル付けされたデータの数が同じになるように、オーバーサンプリングしました。 と元の記事にはあったのですが、このオーバーサンプリングが問題でした。オーバーサンプリングを教師データとバリデーションデータに分ける前に行ってしまっていたため、同じアニメの特徴とそのラベルが教師データとバリデーションデータの両方に含まれていました。 教師データに含まれるアニメを正しく分類できるのは当然ですから、教師データと同じアニメをバリデ
「そのモデルの精度、高過ぎませんか？」過学習・汎化性能・交差検証のはなし - 渋谷駅前で働くデータサイエンティストのブログ
今年の1月にこんな話題を取り上げたわけですが。 この記事の最後にちょろっと書いた通り、実際にはこういう"too good to be true"即ち「そのモデルの精度いくら何でも高過ぎるんじゃないの？」→「実は汎化性能見てませんでした」みたいなケースって、想像よりも遥かに多くこの世の中存在するみたいなんですね。ということで、それこそ『はじパタ』の2章とかPRMLの最初の方に出てくる初歩中の初歩なんですが、その辺の話を改めてだらだら書いてみようと思います。 そもそも「精度100%」とか「相関係数0.9以上」とか見たら身構えるべき 冒頭に挙げた例は、そもそも「精度100%なんておかしい」という声があちこちから挙がったことで話題になり、蓋を開けてみたらleakageはあるわ訓練誤差でしか評価してないわで散々だったわけです。 一般に、実世界のデータセットで統計モデリングにせよ機械学習にせよモデリン
「じゃあ、他の手法と比べてみたときにどうなんだ？」 - Qiita
「じゃあ、他の手法と比べてみたときにどうなんだ？」 アルゴリズムの開発者は、この言葉が出ることを（かなりの頻度で）おびえていると思います。実用になるシステムを期限までに開発しなければとせかされている場合はなおさらです。学術論文を書こうとしていない状況では、避けて通れるなら避けて通りたい問題です。この言葉がでると、（１＋比較する手法数）倍、作業量がとたんに増えてしまうのです。同じ学習データ、同じ特徴量を用いて、学習アルゴリズムだけを差し替えた学習と評価を作ることがどれほど面倒かを、意識することのない人が「じゃあ、他の手法と比べてみたときにどうなんだ？」という、いかにももっともな発言をするわけです。(注) **開発リソースが限られている状況では、その中で許容できる水準のものを作り上げることこそが重要です。**開発のボトルネックになっているのはそこじゃないという項目に対して、プロジェクトの優先順
自称有識者()が例の副作用100%予測にがんばって答える - 驚異のアニヲタ社会復帰の予備
ちょっとアレなので非公開になりました。 結論 cross validation くらいしよう。
Multi-class Log Loss | クラソル | CrowdSolving
Multi-class Log Lossは3群以上の分類問題における精度評価指標の1つ． このスコアはモデルの推定精度の”悪さ”を表すので 0に近い値であるほど優れている． 各予測対象データが各群に所属する予測確率に対し，下記計算を行いスコアを算出する． N : 全予測対象数 M : 群の総数 yi,j : i番目の対象が真にj番目の群であるならば1，その他の群であるならば0 pi,j : i番目の対象がj番目の群である予測確率 pi,jは予測対象ごとに総和が1となる様に標準化される． また，pi,jが 1.0e-15 より小さい値の場合は 1.0e-15 に， pi,jが 1 - 1.0e-15 より大きい値の場合は 1 - 1.0e-15 に置き換えて計算する．
多クラス分類アルゴリズムの品質メトリック
l のクラス C1, ..., Cl、分類アルゴリズムの予測段階で計算されたクラスラベルのベクトル X= (x1, …, xn) および予測されたクラスレベルのベクトル Y= (y1, …, yn) で、混同行列と結合された品質メトリック (適合率、不正解率、その他) を計算して分類器を評価します。 さらなる定義は以下の表記を使用します。
機械学習の性能を正しく評価するための検証手法 - Qiita
概要 多くの機械学習関連のライブラリのチュートリアルは解決するべき問題に対してある程度適切なモデルを初めから提示してくれますが、実際に機械学習を応用するのにあたって一番難しくて手間のかかるのはモデルのチューニングである気がします。特に最近流行ってる（ディープ）ニューラルネットワークを使いこなすのにはチューニングの要素が強いことが指摘されています。 モデルのチューニングで必要不可欠となるのがその検証です。この記事では機械学習全般で用いられる幾つかの検証方法を実装して比較します。 データの分割と誤り率 (error rate) モデルの学習に使用するデータを学習データ (Train Data)、検証に使用するデータをテストデータ (Test Data)といいます。時々学習データと同じテストデータを用いた検証を見かけますが、その場合機械学習の学習能力を示したことにはなっても、汎化能力を示したこと
モデルの精度評価（分類問題） - Tech Blog
分類問題の精度評価についてまとめておきます。 代表的な評価指標にはどのようなものがあるのか、その中でどれを使えばいいのか、回帰分析の精度は使えるか、について順に書いていきます。 今回は、下記の混合行列で表されるような疾病検査を例にとって説明します。陽性・陰性は予測クラス、疾病あり・疾病なしは正解クラスです。 疾病あり 疾病なし 陽性 陰性 評価指標には何かあるか？ 一般的によく使われる評価指標に、Precision, Recall, Specificity, F-measure, Accuracy, AUCがある。 1. Precision 陽性と判定された人のうち、実際に疾病がある人の割合。 Precision(精度、適合率), Positive Predictive Value(陽性予測値)と呼ばれる。 2. Recall 実際に疾病がある人のうち、陽性と判定される人の割合。 Reca
LibSVMのcross validationオプションでprecision/recallを出力する - シリコンの谷のゾンビ
SVMの定番ツールのひとつであるlibsvmにはcross validationオプション(-v) があり，ユーザが指定したFoldのcross validationを実行してくれる． 実行例 % ./svm-train -v 2 heart_scale * optimization finished, #iter = 96 nu = 0.431885 obj = -45.653900, rho = 0.152916 nSV = 70, nBSV = 49 Total nSV = 70 * optimization finished, #iter = 84 nu = 0.512665 obj = -57.742885, rho = 0.134158 nSV = 78, nBSV = 61 Total nSV = 78 Cross Validation Accuracy = 81.8519%
実践多クラス分類 Kaggle Ottoから学んだこと
Kaggleのコンペに参加することで�色々な実践的ノウハウを学んだので�そのノウハウを共有する p.3～53 コンペ中に自分がやったこと�p.54～99 ハイランカーがやっていたこと�p.100～ ハイランカーかやっていたことを�自分も実際にやってみるRead less
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ML Studio (classic): Evaluate & cross-validate models - Azure