SVMはパラメータ最適化と同時にモデル選択もしてくれる - 憂鬱な情報系学生パターン認識の課題でよく使うのがSVM。 パッケージはSVM-lightを愛用。 入力次元が多いときには「とりあえずSVMでしょ」的な安易な使い方も 良くするのですが、理由はやっぱり”次元の呪い”に強いってとこですね。 （次元の呪い「Curse of dimension」って文学的響きが、カッコイイ） 一般的に、得られるデータに比べて 機械学習器の複雑さ(complexity)が大きすぎると 過学習（Overfitting）に陥りやすい。 階層ニューラルネットワークなどの機械学習器は 入力次元増えるとそれだけ最適化パラメータが増えちゃうので、 過学習しやすくなってしまう訳ですね。 最適化パラメータの数の増加は、学習器の複雑さの増加ですから。 だから、データ数が少ないのに、入力次元がでっかいと 過学習に陥ってしまう。 これが”次元の呪い” 直感的には「1つのデータについてたくさんの情報があれ
