パターン認識の課題でよく使うのがSVM。 パッケージはSVM-lightを愛用。 入力次元が多いときには「とりあえずSVMでしょ」的な安易な使い方も 良くするのですが、理由はやっぱり”次元の呪い”に強いってとこですね。 (次元の呪い「Curse of dimension」って文学的響きが、カッコイイ) 一般的に、得られるデータに比べて 機械学習器の複雑さ(complexity)が大きすぎると 過学習(Overfitting)に陥りやすい。 階層ニューラルネットワークなどの機械学習器は 入力次元増えるとそれだけ最適化パラメータが増えちゃうので、 過学習しやすくなってしまう訳ですね。 最適化パラメータの数の増加は、学習器の複雑さの増加ですから。 だから、データ数が少ないのに、入力次元がでっかいと 過学習に陥ってしまう。 これが”次元の呪い” 直感的には「1つのデータについてたくさんの情報があれ
![SVMはパラメータ最適化と同時にモデル選択もしてくれる - 憂鬱な情報系学生](https://cdn-ak-scissors.b.st-hatena.com/image/square/829acd9988b7f5784721aa4bba759252fbeb4da6/height=288;version=1;width=512/http%3A%2F%2Fblue-intelligence.cocolog-nifty.com%2F.shared-pleasy%2Fnifty_managed%2Fimages%2Fweb%2Fogp%2Fdefault.png)