今日の勉強会はAROW(Adaptive Regularization Of Weight Vectors)の話。AROWは要するにオンライン学習の一例で、CW(Confidence Weighted Learning)をノイズに対して頑健になるようモデリングし直したものと思う。使いたい人は、詳しくはAROW は CW より幾分マシか - ny23の日記に書いてある。 オンライン学習自体あまり今まで触れてこなかったので(流行りなのはわかっているが)、オンライン学習は従来のSVMなどと違って、訓練データが1つ入る度にその訓練データに対してパラメータを更新して分類を行う、というもの。従来のSVMなどの機械学習と比較して収束が早いので学習時間がかからないのが売りだったが、反面CWでは誤り例に引っ張られやすく、ノイズが入ってきたときにそこに大きく引っ張られて精度が悪くなってしまう、という問題があっ