こんにちは。エムスリーエンジニアリンググループAI・機械学習チームの池嶋です。これは エムスリー Advent Calendar 2021 の16日目の記事です。 AIチームでは機械学習を使ったプロダクトを開発し、自社サービスの改善や医療の臨床領域における研究開発など、社内外で多くのビジネス課題解決を目指しています。 このブログでは、機械学習で数量を当てるという問題に対して、AIチームにおける「予測モデル作成時の工夫」と「モデル性能説明手法」について紹介します。 予測モデル作成時の工夫編 回帰ではなく分類モデルを使用 複数のモデルをアンサンブル 特徴抽出からモデル学習・推論までパイプライン化 モデル性能説明手法編 PR曲線やROC-AUC：直感的でない ローレンツ曲線：ユースケースが限定される パーセンタイルごとの実ラベル割合グラフ：セグメントが多いとわかりにくい 混同行列を多クラスに拡張
はじめに こんにちは. マイクロアドで機械学習エンジニアをしている福島です. 主に広告のClick Through Rate (CTR)予測やReal-Time-Bidding (RTB)の入札最適化を担当しています. 今回はマイクロアドでのCTR予測における確率補正について紹介したいと思います. はじめに CTR予測とは 問題1 学習データが不均衡 問題2 機械学習モデルの出力を確率として扱うのは不適切な場合がある 問題3 学習データの信頼度が高くない CTR予測における確率補正 アンダーサンプリングによって生じたバイアスの除去 Isotonic Regressionによる確率補正 確率補正の効果検証 終わりに CTR予測とは RTBでは下図のように, 広告主とメディア間でリアルタイムにオークションが開催され, オークションに勝利した広告がメディアに表示されます. マイクロアドでは現在オ
Focal Lossによる自信過剰な予測の抑制 - MicroAd Developers Blog
はじめに こんにちは. マイクロアドで機械学習エンジニアをしている福島です. 主にReal-Time-Bidding (RTB)におけるClick Through Rate/Conversion Rate(CTR/CVR)予測や入札最適化の研究・開発を担当しています. 今回はCTR/CVR予測の学習にFocal Loss [Tsung-Yi Lin et al., 2017]と呼ばれる損失関数を使ってみたのでその結果を紹介したいと思います. はじめに Focal Lossとは CTR/CVR予測にFocal Lossを用いることのモチベーション Focal Lossによるcalibrationの改善 検証 LightGBMで自作の目的関数を用いる calibrationの評価指標 実験 まとめ Focal Lossとは 一般的にCTR/CVR予測は学習データ中でclick/conversi
自然言語処理モデル（BERT）を利用した日本語の文章分類 〜GoogleColab & Pytorchによるファインチューニング〜 - Qiita
自然言語処理モデル（BERT）を利用した日本語の文章分類 〜GoogleColab & Pytorchによるファインチューニング〜自然言語処理Python3PyTorchGoogleColaboratorybert はじめに 自然言語処理の世界で様々なブレークスルーを起こしている「BERT」をpytorchで利用する方法を紹介します 特に実務上で利用するイメージの沸きやすい、手元のラベル付きデータでファインチューニングをして、分類問題を解くタスクを行ってみたいと思います 読み込むデータをpandasで少し整形してあげれば他データでも応用することはできるはずなので、是非、お手元の様々なデータで試して頂ければと考えています 環境 Google Colaboratory（GPU環境） Google Colaboratoryの環境設定方法は様々な紹介記事があるので、それらをご参照ください 利用デー
統計学の理解にあたって行っておくとよい重要な演習について、$100$題を厳選して取りまとめを行う予定です。 それぞれの主要トピックの導出の流れを取り扱ったり、解答・解説ありきで作成を行なったりなど、理解度の確認用の問題ではない場合も多いので、$1$周目については解答を読みながら理解する形式で進めると良いと思います。解法を抑えて類題が解ければ十分なものが多いです。 確率・確率分布 確率分布② Q.$1$ 超幾何分布と母分散の有限修正 Q.$2$ 重複組合せと負の二項分布 Q.$3$ 多項分布 Q.$4$ コーシー分布 Q.$5$ 対数正規分布 「確率分布①」は「基本演習$100$選」で取り扱いました。 区間推定 等比数列の和・マクローリン展開と離散確率分布の確率母関数 Q.$1$ 確率母関数の定義と期待値$E[X]$・分散$V[X]$の対応 Q.$2$ ベルヌーイ分布・二項分布の確率母関数と
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
数量を機械学習で当てる モデル作成時の工夫と性能説明手法 - エムスリーテックブログ
CTR予測における確率補正について - MicroAd Developers Blog
統計学 標準演習100選 〜確率、推測統計、回帰、応用、数理統計学〜 - あつまれ統計の森