不均衡データのクラス分類(R Advent Calendar 2011) - sfchaos's blog
これは，R Advent Calendar 2011の担当分の記事です． 機械学習やデータマイニングの実務への適用が脚光を浴びている今日この頃ですが，現実の問題に機械学習を適用する際は，パラメータのチューニング方法など様々な観点から検討を行う必要があります．今回は，クラス分類における不均衡データ(imbalanced data)の扱いについて考えてみます． 不均衡データとは クラス分類を実行する際の悩みどころの一つとして，クラス分類の興味の対象となるクラスのサンプル数が他のクラスと比べて少ないケースがよくあることが挙げられます．このようなデータは不均衡データと呼ばれます． 例えば，スパムメールかどうかの判別において，スパムであるサンプル数とスパムではないサンプル数．あるいは，ある重病に罹患する人を特定したい場合，その病気に罹患した人数と罹患していない人数．こうしたケースではクラス間でサンプ
サポートベクターマシン
サポートベクターマシンは、ニューロンのモデルとして最も単純な線形しきい 素子を用いて、2クラスのパターン識別器を構成する手法である。訓練サンプル 集合から、「マージン最大化」という基準で線形しきい素子のパラメータを学習 する。線形しきい素子は、図1に示すようなニューロンを単 純化したモデルで、入力特徴ベクトルに対し、識別関数（線形識別関数） により2値の出力値を計算する。ここで、 はシナプス荷重に対応するパ ラメータであり、はしきい値である。また、関数 は、のときをとり、のときをとる符号関数である。このモデルは、 入力ベクトルとシナプス荷重の内積がしきい値を超えればを出力し、超えな ければを出力する。これは、幾何学的には、識別平面により、入力特徴空間 を2 つに分けることに相当する。今、2つのクラスを,とし、各クラス のラベルをとに数値化しておくとする。また、訓練サンプル集合として、 個の
線形SVM - 人工知能に関する断創録
下巻に入って7章のサポートベクトルマシン（Support Vector Machine: SVM）を実装してみます。SVMに関しては、有名なSVMのライブラリ（libsvm）を使ったことがあるだけで、アルゴリズム詳細はPRMLで初めて学習しました。なので変なことを書いていたらコメント欄で指摘してもらえると助かります。 まずは、一番簡単な線形SVMを実装してみます。今までと同様に直線（超平面）でデータが完全に分離できる場合です。PRMLの7章には特に説明がありませんが、カーネル関数に下の線形カーネル（データのただの内積）を用いた場合に相当するようです。このカーネル関数を多項カーネルやガウシアンカーネルに変更すると線形分離不可能なデータも分類できるようになるとのこと。非線形SVMは次回ためしてみます。 まず、SVMの識別関数は、式（7.1）で表せます。 今までと違ってバイアスパラメータをまとめ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
