ゼロが多いカウントデータに対するモデリング - Qiita
はじめに こんにちは，株式会社Nospareの小林です．本記事ではカウントデータ分析でよく直面するゼロが多いに対して，どのような統計モデルで対処できるかについて解説します． まずカウントデータですが，これはある疾病からの死亡者数，ある地点・地域における交通事故の数，個人が救急車を利用した回数などといったようにあるイベントが起こった回数に関するデータで，通常非負の整数値を取ります．例えば救急車の例でいうと多くの人は救急車を利用するという事態に直面するということは珍しいことだと考えられます．そういった場合，データはゼロ（救急車を全く利用しなかった）の値が多く含まれることになります．例えば，下図は同じサンプルサイズ（$n=1000$）でほぼ同じ平均（左：2.0，右1.94）を持つ2つのカウントデータのヒストグラムになります．両方ともゼロの度数が大きいのですが，右図のほうがサンプルサイズに対するゼ
特徴量エンジニアリングのライブラリ xfeat を使ってみて便利だったこと - Taste of Tech Topics
こんにちは。機械学習エンジニアをしている古賀です。 最近は愉快な上司@tereka114 のもと、精度の上がらないモデルに四苦八苦しています。 そんな私が普段データ分析をする際に難しいことの一つとして、特徴量エンジニアリングがあります。 特徴量エンジニアリングとは、元のデータに新たな特徴量を追加することでモデルの精度を向上させるプロセスのことです。 この結果によってモデルの精度が大きく変わりますが、正しく実行するにはデータへの深い理解やデータ分析力が必要になります。 私もあまり得意ではないのですが、これを簡単にする xfeat という便利なライブラリがあると上司が教えてくれたので、実際に使ってみて便利だったことをまとめました。 ※本記事は、Pythonその3 Advent Calendar 2020 の15日目の内容になります。 目次は以下です。 xfeat とは 準備 実行環境 xfea
Python: Null Importance を使った特徴量選択について - CUBE SUGAR CONTAINER
今回は特徴量選択 (Feature Selection) の手法のひとつとして使われることのある Null Importance を試してみる。 Null Importance というのは、目的変数をシャッフルして意味がなくなった状態で学習させたモデルから得られる特徴量の重要度を指す。 では、それを使ってどのように特徴量選択をするかというと、シャッフルしなかったときの重要度との比率をスコアとして計算する。 もし、シャッフルしたときの重要度が元となった重要度よりも小さくなっていれば、スコアは大きくなって特徴量に意味があるとみなせる。 一方で、シャッフルしたときの重要度が元とさほど変わらなければ、スコアは小さくなってその特徴量は単なるノイズに近い存在と判断できる。 あとはスコアに一定の閾値を設けたり、上位 N 件を取り出すことで特徴量選択ができるようだ。 今回使った環境は次のとおり。 $ sw
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fundamental Techniques of Feature Engineering for Machine Learning
Time-related feature engineering
