XGBoostを試す。 この手法はまだ理解していないけど、試すぐらいはできるからちょいと遊んでみる。 自分は最初から数式追ってどんな手法なのか理解できるほどにはほど遠いから、 試しているうちに少しずつ気になるところが出ることを期待しつつやってみる。 XGBoostとは XGBはgradient tree boostingの実装のひとつ。(ということは、これ自体がアルゴリズムというわけではないのか。) ただ単にアルゴリズムが実装されているだけではなく、いろいろな工夫がされていていいらしい。 適当なデータを作って、2クラス識別問題を試す。 set.seed(3) N <- 1000 K <- 30 betas <- rnorm(K, 0, 2) X <- matrix(rnorm(N*K, 0, 1), nrow = N, ncol = K) noise <- rnorm(N, 0, 0.5)