【機械学習】AUCとGini係数の関係を理解する【評価指標】 - Qiita
はじめに 二値分類の評価指標について 「AUCとGini係数ってどんな関係だっけ？」 と毎回忘れては調べているので、いい加減覚える意味で体系的にまとめてみる。 この記事では AUCとは何か？ Gini係数とは何か 両者はどんな関係があるか？ を理解することを目的とする。 最初に結論 AUCとGini係数の間には の関係がある。 AUCは0.5から1の範囲を取るため、Gini係数は0から1までの範囲を取る。 どちらも値が大きいほど分類性能が良いことを表す。 最終的にこの式を理解することを目的としよう。 AUCを理解しよう AUC （Area Under the Curve）は二値分類における有名な評価指標の一つであり、文字通り、「ROC曲線下の面積」を表す。 ROC曲線とは？ ROC (Receiver Operating Charastaristic Curve)は受信者操作特性と呼ばれる
機械学習のモデル評価、説明可能性のための指標 その１。ジニ係数とAUC。 - Qiita
推計された延滞率に対する順序性尺度によってモデルの精度を評価する。 はじめに Credit scoreでは、延滞する・しないを完全に分類するよりも、どのくらいの確率で延滞するかが重要です。そして、その確率に分類された結果が正しいか正しくないかという事も重要となります。その為の代表的な指標が、完璧なモデルと予測力がないモデルと予測したモデルを順序性尺度を使って評価されたものです。 説明可能性についてのまとめはこちら。 理解されるPOC作成のために、機械学習したモデルをどう評価し説明するかのまとめ。 指標にはGini indexまたはGini coefficient(ジニ係数)、AR(Accuracy ratio) (AR値)、AUC(Area under an ROC curve)を使用します。ここで指すジニ係数＝AR値で、海外ではジニ係数を日本ではAR値を使用する事が多いようです。以降はジ
PR曲線とROC曲線および不均衡データ - Qiita
混合行列形式比較を横並びにすると両者比較がわかりやすいと思います。分子がTPで同じで分母の一部が異なります。 ここからは、サンプルデータの予測・正解データでPrecisionとRecallの説明です。 下図の左の列はサンプルの正解ラベルの表です。PR曲線の説明をしようとしているので、予測確率の絶対値は重要ではなく相対的な確率大小だけを示しています。 左から2番目の表で、それぞれ左表のデータより上を正例と予測した場合の座標とTP、FP、FNの数を記載(座標はあとで出てくるPR曲線内の位置に対応)。例えば1行目は、「正解ラベル」列が1行目のみ正例と判定(正解なのでTP)。あとは、負例と判定(正誤あるのでFP/FN)。 Precision と Recall の数値の大小を見るとトレードオフの関係になるのがわかります。 PR曲線 先程のサンプルデータをPR曲線にマッピングします。左上から出発して右
ROC曲線 | 大阪大学腎臓内科
Clinical Journal Club 5. ROC曲線 ROC曲線(Receiver Operatorating Characteristic curve、受信者動作特性曲線)は、もともとレーダーシステムの通信工学理論として開発されたものであり、レーダー信号のノイズの中から敵機の存在を検出するための方法として開発された方法です。臨床研究では、連続変数である独立変数と二分変数であるアウトカムとの関係の強さを評価する方法として、しばしば診断検査の有用性を検討する手法として利用されています。 ROC解析を行う前提条件としては、独立変数が連続変数であり、アウトカムである従属変数が二分変数であるという事です。あくまでも単変量解析であり、多変量解析ではない事を認識しておきましょう。 一般には、複数の独立変数のアウトカムに対する予測能・診断能の比較や、アウトカムに対する独立変数のカットオフの設定を
Python：Youden index－カットオフ値、感度・特異度を求める
カットオフ値を求める方法 カットオフ値を求めるには、ROC曲線を用いる方法とYouden indexを用いる方法があります。 ROC曲線は左上に近づくほど良い判定方法ということになるため、左上の隅っこと一番距離が短くなる点をカットオフ値と考えます。 （ROC曲線を用いる方法はこちら） 一方、Youden indexは、ROC曲線とは逆に、AUC＝0.5となる右上から左下への斜線から、一番遠い点をカットオフ値にする方法です。 解析するデータ数が少ないと、この2つの方法でカットオフ値の結果は変わってきます。
統計学入門−第9章
感度： (95％信頼区間：0.55-0.997) 特異度： (95％信頼区間：0.60-0.98) 正診率： (95％信頼区間：0.69-0.97) 陽性尤度比： (95％信頼区間：1.83-24.93) 陰性尤度比： (95％信頼区間：0.02-0.75) 陽性予測値： (95％信頼区間：0.55-0.94) 陰性予測値： (95％信頼区間：0.67-0.99) ※正診率と陽性予測値・陰性予測値は表9.2.2のデータが動脈硬化症の一般的な有病率を反映していると仮定して計算した値 陽性尤度比は疾患群の検査結果が陽性になる確率つまり真陽性確率(感度)と、正常群の検査結果が陽性になる確率つまり偽陽性確率(1−特異度)の比です。 陰性尤度比は疾患群の検査結果が陰性になる確率つまり偽陰性確率(1−感度)と、正常群の検査結果が陰性になる確率つまり真陰性確率(特異度)の比です。 感度と特異度が大きいと
回帰モデル・クラス分類モデルを評価・比較するためのモデルの検証 (Model validation)
いろいろな回帰モデル・クラス分類モデルを構築したり、モデルの中のハイパーパラメータ (PLSの成分数など) を決めたりするとき、モデルを評価・比較しなければなりません。そのためのモデルの検証 (model validation) の方法について、pdfとパワーポイントの資料を作成しました。 データセットの説明からはじまり、モデル評価・比較するための指標・ハイパーパラメータの決め方・データの選び方などについて説明されています。pdfもスライドも自由にご利用ください。 pdfファイルはこちらから、パワーポイント(pptx)ファイルはこちらからダウンロードできます。 興味のある方はぜひ参考にしていただき、どこかで使いたい方は遠慮なくご利用ください。 スライドのタイトル “良い”回帰モデル・クラス分類モデルとは何か？ データセットの呼び方 比較指標 回帰分析 決定係数 r2 回帰分析 RMSE 回
書記が数学やるだけ#222 統計検定2級演習-第1種の過誤，第2種の過誤の計算問題｜Writer_Rinka
検定における第1種の過誤，第2種の過誤を実際に計算してみる。 問題図解しやすい題材を通して，第1種の過誤と第2種の過誤の関係を実感する。 説明参考： 解答まずは具体的に計算してみる。 この状況を図で示してみる。青線が帰無仮説における分布，橙線が対立仮説における分布である。 from scipy.stats import norm import numpy as np import matplotlib.pyplot as plt x = np.linspace(-4, 4, 100) y0 = norm.pdf(x) y1 = norm.pdf(x-1) plt.plot(x,y0) plt.plot(x,y1) ここで，αエラーは帰無仮説の元で帰無仮説を棄却する確率（青），βエラーは対立仮説の元で帰無仮説を棄却しない確率（橙）である。 この図から，x0を大きくすればαエラーは小さくなるが
分類問題の予測結果の評価指標（Accuracy, Precision, Recall, F値, AUC）について整理してみた - Ledge Tech Blog
こんにちは。レッジインターン生の大熊です。 今回は分類問題のタスクにおける予測結果の評価指標について、代表的なものをピックアップして書いていきます。 評価指標は各タスクに合わせて設定しなければならず、またその評価値の閾値も個別に設定することが多いです。 本記事を評価指標の選定の参考にしていただければ幸いです。 分類問題における正解・不正解のパターン 分類問題における実測値と予測値の関係性は以下のマトリクスで表現できます。 正（実測） 負（実測） 正（予測） TP FP 負（予測） FN TN TP：True Positive。実測値と予測値の両方が正であったもの。 FP：False Positive。実測値が負なのに、誤って正と予測値したもの（誤検知、偽陽性）。 TN：True Negative。実測値と予測値の両方が負であったもの。 FN：False Negative。実測値が正なのに、
αエラーとβエラー - 大人になってからの再学習
キーワード：αエラー、βエラー、偽陽性、偽陰性、第一種の過誤、第二種の過誤、ベイズ推定 例として、肝臓癌の検査を取り上げてみる。 検査結果が100％正しいことはなく、結果には誤りが含まれる。 検査の誤りには次の2通りがある。 (A) 「肝臓癌ではないのに、肝臓癌である」と判定する誤り。 (B) 「肝臓癌なのに、肝臓癌でない」と判定する誤り。 どちらも「誤り」だけど、その性質は違う。 (A)の誤りをαエラー（第一種の過誤）と呼ぶ。 偽の陽性なので偽陽性（False positive）とも言う。 (B)の誤りをβエラー（第二種の過誤）と呼ぶ。 偽の陰性なので偽陰性（False negative）とも言う。 αエラーは「あわてんぼさんの過ち」 βエラーは「ぼんやりさんの過ち」 と語呂で覚えるといい。 具体的な例を見てみる。 肝臓癌の検査を1万回行ったとき、次のような結果になったとする 肝臓癌でな
最適化指標: DataRobot docs
加重指標の場合、加重はスマートダウンサンプリングおよび高度なオプションの加重パラメーターの値の指定に基づきます。これによって、評価指標の計算において、それらのウェイトが考慮されるようになります。 使用する指標はプロジェクトタイプに応じて異なります。 プロジェクトタイプは、R（連続値）、C（二値分類）、またはM（多クラス）です。 真陰性/偽陰性（true/False Negatives）および真陽性/偽陽性（true/False Positives）とは。 以下の定義について考えてみましょう。 Trueは予測が正しかったことを意味し、Falseは予測が間違っていたたことを意味します。 Positiveはモデルが陽性と予測したことを意味し、Negativeは陰性と予測されたことを意味します。 これらの定義に基づくと： True Positivesとは、陽性として正しく予測された観測値です。 T
ROC曲線とPR曲線の違いについての考察 - Qiita
TPRが0.666に達した時点では，ROC曲線では(0.250,0.666)という座標に位置し，そこまででは全体の面積のうちせいぜい1/4しか担当していません． したがって，(0.250,0.666)に至る手前でどれだけ下手な予測をしても，AUCへの影響は小さいもので済みます． 一方PR曲線では(0.666,0.666)という座標に位置し，その座標まででなんと全体のAUCの2/3を担当しています． ですので，(0.666,0.666)に至る手前で下手をこいてしまうと，ROC曲線に比べて8/3倍もの影響力があります． 実際，1位と2位を入れ替えたときのROC曲線とPR曲線のAUCは次のとおりです． ※ROC-AUCは0.750（10%劣化）． ※PR-AUCは0.514（33%劣化）． 実験的検証 論より証拠，実験で示してみました． 実験手順は以下のとおりです． 使用したプログラムはPyth
ゼロから理解する機械学習の評価～ ROC 曲線と PR 曲線の使い分けまで～
こんにちは。データサイエンスチームの小松﨑です。 本記事では機械学習のモデルを作るときに非常に重要になるモデルの評価について書いてみたいと思います。昨今は AI という文字を見ない日はないほど AI の取り組みが広がっていますが、近年 AI と呼ばれるものの中身は機械学習のモデルであることが多いです。 AI と機械学習の違いなどについてはこの記事では述べませんが、機械学習のモデルを作るプロセスにおいて評価は最も重要と言っても過言ではないと思います。私自身、機械学習プロジェクトでは真っ先に評価方法を明確にし、評価用データセットを整備するようにしています。何故なら自分ではどんなに素晴らしいものを作ったと思っていても、それをお客様にしっかりと理解し納得してもらう必要があるからです。 評価といっても課題やアルゴリズムの種類によって様々なものがありますが、本記事では基本的なケースとして、例えば出来上
マシューズ相関係数とは - Matthews Correlation Coefficient -
プラットフォームの概要 AI Platform 生成 AIおよび予測 AIのプラットフォーム もっと詳しく ドキュメント 新機能 ログイン 無料で始める 運用 自信を持ってAIを拡張し、比類のないエンタープライズ・モニタリングとコントロールでビジネス価値を促進 デプロイと実行 再学習と最適化 監視と介入 ガバナンス AIの環境、チーム、およびワークフローを統合し、大規模な範囲での完全な可視性と監視を実現 レジストリと管理 監査と承認 コンプライアンスドキュメント生成 構築 ニーズの進化に合わせて自由に適応できるオープンなAIエコシステムで、迅速なイノベーションを実現 分析と変換 学習とチューニング 組立てと比較 プラットフォーム統合 インフラストラクチャーへのデプロイ ソリューション 業界ごと ヘルスケア 製造 小売業 金融サービス 成果ごと ユースケースのライブラリー お客様事例 Dat
検査結果における陽性的中率と陰性的中率（有病率指定）
陽性的中率＝感度×有病率 / （感度×有病率＋（１－有病率）（１－特異度）） 陰性的中率＝特異度 × （１－有病率） / （特異度×（１－有病率） ＋ 有病率×（１－感度））
Power and sample size - Nature Methods
Thank you for visiting nature.com. You are using a browser version with limited support for CSS. To obtain the best experience, we recommend you use a more up to date browser (or turn off compatibility mode in Internet Explorer). In the meantime, to ensure continued support, we are displaying the site without styles and JavaScript.
【用語まとめ】2値分類の評価指標 - Qiita
この表を列方向（横方向）に見たときに、実際の結果（実際に陽性か実際に陰性か）に基づいて予測性能を測る指標が以下の4つです。 真陽性率（TPR; True Positive Rate）：実際に陽性の人を正しく陽性と予測した割合 偽陽性率（FPR; False Positive Rate）：実際には陰性の人を誤って陽性と予測した割合 偽陰性率（FNR; False Negative Rate）：実際には陽性人を誤って陰性と予測した割合 真陰性率（TNR; True Negative Rate）：実際には陰性の人を正しく陰性と予測した割合 感度と特異度 上の指標のいくつかには別名があり、真陽性率は感度（sensitivity）、真陰性率は特異度（specificity）とも呼ばれます。つまり、 真陽性率 = 感度（sensitivity） 偽陽性率 = 1 - 特異度 偽陰性率 = 1 - 感度
Understanding Statistical Power and Significance Testing — an Interactive Visualization
Understanding Statistical Power and Significance Testing an interactive visualization Created by Kristoffer Magnusson Follow @krstoffr Kristoffer's LinkedIn profile Tweet Type I and Type II errors, β, α, p-values, power and effect sizes – the ritual of null hypothesis significance testing contains many strange concepts. Much has been said about significance testing – most of it negative. Methodolo
第312話｜統計的機械学習でよく使用される混同行列（Confusion Matrix）と評価指標
統計的機械学習の世界に、2 値分類問題というものがあります。例えば、受注 or 失注、継続 or 離反、異常 or 正常、死亡 or 生存などを扱う予測モデルを構築したりします。 そこで登場するのが、混同行列（Confusion Matrix）です。 一時期新聞などで、新型コロナワクチンの良し悪しを評価するものとして、たまに登場していましたが、最近はあまり見なくなりましたね。 混同行列（Confusion Matrix） とは、統計的機械学習の2 値分類問題の分類結果をまとめた行列（Matrix）のことです。混同行列（Confusion Matrix）から、予測モデルの良し悪しを検討するための、幾つかの評価指標を作ることができます。 どのような分類問題を扱うのかで、見るべき評価指標を変え選択する必要があります。 その前に、どのような指標があるのか分からないことには、見るべき指標を選択するこ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「統計数理」第70巻 目次