タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
はじめに 1. 不均衡データとは何か 1.1 不均衡データの定義と実例 1.2 なぜ不均衡データが問題なのか 1.3 数学的視点から見た不均衡データの課題 2. 不均衡データへの対処の根本的な考え方 2.1 基本的アプローチの体系 2.2 統計的基盤: なぜこれらの方法が機能するのか 3. データレベルの対処法: サンプリング技術 3.1 アンダーサンプリング手法 3.1.1 ランダムアンダーサンプリング（RUS） 3.1.2 情報損失を最小化するアンダーサンプリング Tomek Links Condensed Nearest Neighbor Rule (CNN) One-Sided Selection (OSS) 3.2 オーバーサンプリング手法 3.2.1 ランダムオーバーサンプリング（ROS） 3.2.2 SMOTE (Synthetic Minority Over-samplin
不均衡データ対策は決定境界が大事！ ロスを変えてファインチューニングするだけで精度が上がる「Influence-Balanced Loss」の紹介 - Qiita
クラスAは5％下がってしまいましたが、クラスBは+10%、クラスCは+15%になりました。実は先程のmicro averageによる精度を計算すると、 5000×90% + 100×80% + 25×65% ÷ (5000+100+25) = 89.7% 5％近く下がっています。全体の精度が下がったほうが嬉しい、ちょっとおかしいですよね。 microとmacro この感覚のズレを解消するために、macro averageによる精度を計算します。macro averageとはクラス単位の精度を単純平均で求めます1。 前者：(95% + 70% + 50%) ÷ 3 = 71.7% 後者：(90% + 80% + 65%) ÷ 3 = 78.3% 直感と一致しました。microを使うか、macroを使うかは問題によりけりです。macro averageで集計するコンペもあります。不均衡データ対
NN時代のモダンな不均衡データ補正：undersamplingしたデータから得られたモデルを全データでfine-tuningする（論文紹介・ただし再現に失敗） - 渋谷駅前で働くデータサイエンティストのブログ
何だか不均衡データ補正の話題は毎回tmaeharaさんからネタを頂戴している気がしますが（笑）、今回も興味深いネタを拝見したので試してみようと思います。 深層学習時代の class imbalance 対応が面白い。適当にバランシングしたデータセットで十分学習した後にフルデータセットでファインチューンするのがいいらしい。なんだこれ。— ™ (@tmaehara) 2022年5月11日 端的にまとめると「under/upsamplingで均衡させた改変データセットで学習したNNを、改めて全データセットでfine-tuningすれば不均衡データ補正が上手くいく」という論文があるらしく、しかも割とうまくいくので採用している後発論文が少なからずあるようだ、というお話です。 tmaeharaさんが引用されていたのはこちらの論文なんですが、IEEE公式サイトのものは僕は読めないので適当にarXivで探
Focal Loss は本当に不均衡データに効果があるのか検証した [①実装編] | 不労所得を夢見るSEのぼやき
こんな人にオススメ！・LightGBMにcustom(自作した) objectiveを実装したい人 ・focal loss の実装について知りたい人 はじめに 今回は、競艇というより、かなり機械学習よりな記事になります。 LightGBMの損失関数を独自に作成したFocal Lossに設定し、学習してみました。いろいろ苦戦した箇所もあるので、そういった内容も含めて記載したいと思います。 Focal Loss （多分これだと思うのですが）元になった論文はこちらです。 もともとは画像の機械学習分野で、物体検知における不均衡なクラス分類の改善案として提案されたもののようです。 数式はこんな感じです。以下、FLの出力をloss と呼ぶことにします。 (1) は確率を想定してるため０〜１に規格化された数値です。これはCross Entropy（以下、CE）を拡張した関数になります。 の箇所ですが、こ
![Focal Loss は本当に不均衡データに効果があるのか検証した [①実装編] | 不労所得を夢見るSEのぼやき](https://cdn-ak-scissors.b.st-hatena.com/image/square/726aea72228cad7392af777a12b7db5cacb91229/height=288;version=1;width=512/https%3A%2F%2Fai-lab-boatrace.xyz%2Fblog%2Fwp-content%2Fuploads%2F2020%2F05%2FScreenshot-from-2020-05-30-23-51-49.png)
機械学習における不均衡データへの対処法
プロダクト プロダクト DataRobot のプラットフォームとアプリケーションは基幹的なビジネスプロセスに統合できるため、チームは生成 AI と予測 AI の開発、提供、ガバナンスを大規模に実施可能になります。 エンタープライズAIスイート AIアプリ AI プラットフォーム エンタープライズAIスイート 生成 AI 予測 AI AI ガバナンス AI オブザーバビリティ AI 基盤 もっと詳しく 統合 サービス ソリューション ソリューション DataRobotのAIソリューションは、あらゆる業界でイノベーションとインパクトを促進します。 ソリューション ソリューション - エネルギー ソリューション - 金融サービス ソリューション - ヘルスケア ソリューション - 製造 注目のパートナー NVIDIA リソース リソース DataRobotの詳細については、すべてのリソースをご覧
【記事更新】私のブックマーク「不均衡データ分類」 | 人工知能学会 (The Japanese Society for Artificial Intelligence)
大崎 美穂（同志社大学） 1．不均衡データ分類とは クラス間で事例の数や割合が極端に異なるデータは不均衡データと呼ばれる．特に，関心の対象でない多数の陰性と関心の対象である少数の陽性の2 クラスを分類するタスク（不均衡データ分類）は，さまざまな分野に共通して重要である．異常・障害・リスクに関する問題，すなわち，医療診断や不正侵入検出など「頻度は低いが起こったときに甚大な被害が生じる」問題が，このタスクに該当する． 通常の分類器ではデータの不均衡性に強い影響を受け，少数の陽性クラスを見落としてしまう．例えば，がん罹患者を健常者と誤診して命に危険が及ぶ，通信ネットワークに不正侵入されて機密情報を盗まれる，といった事態が起こり得る．その一方，陽性クラスに重点を置きすぎるとスクリーニングとして意味をなさなくなる．健常者に不必要な検査や治療を施して医療費の増大を招く，ささいなことでも不正侵入の警告が
用語「不均衡データ」について説明。分類問題におけるラベル（目的変数）の各クラス数の比率が大きく偏っているデータを指す。不均衡データでは評価値に注意し、場合によっては不均衡を是正するための工夫を行う必要がある。 連載目次 用語解説 統計学／機械学習における不均衡データ（Imbalanced Data）とは、分類問題におけるラベル（目的変数）の各クラス数の比率が大きく偏っているデータを指す。比率が大きいクラスは多数派クラス（majority classes）、比率が小さいクラスは少数派クラス（minority classes）などと呼ばれる。 不均衡データかどうかは、ラベル（目的変数）の各クラスで棒グラフを作成すると、目視で確認しやすい。多クラス分類ではなく二値分類では、混同行列を作成することによっても容易に確認できる（図1）。 例えば何らかの機械学習を行う場合、二値分類であれば陽性（正例：p
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
不均衡データに対する機械学習：理論と実践 - tomtom58’s blog
実務に役立つ！不均衡データ・ロングテール分布の対策を徹底解説
![「Gemini」と「Google Keep」の組み合わせで、買い忘れ防止＆料理上手に [てっぱんアプリ！]](https://cdn-ak-scissors.b.st-hatena.com/image/square/03e456d1041f5207ebfb95c11a1d9bc63b7b07f6/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F2019%2F529%2Ficon.jpg)
不均衡データ（Imbalanced Data）とは？
www.studocu.com
tagiri.hatenablog.com
tagiri.hatenablog.com
tagiri.hatenablog.com
yoichi.theletter.jp
anond.hatelabo.jp