反復交差検証 / Repeated Cross-Validationを用いたLasso、シミュレーションを行いベストな反復回数を求める[R] - 井出草平の研究ノート

Repeated Cross-Validation(RCV)はCVを反復して安定性を高めようという方法である。 ides.hatenablog.com ただ、何回繰り返せばよいかわからない。 説明を読んでいると5回から10回くらいであろうと書いてあるが、その根拠は経験則のようだ。 社会調査で使うデータの反復計算は短時間で可能だが、データビッグデータでLassoを行った場合、計算時間と計算の安定性はトレードオフの関係になり、バランスを取ることが求められた結果、5回から10回という設定が落としどころなのだ。 実際にどのくらいの回数が適切なのかを調べるために、シミュレーションをしてみた。 RCVの反復回数は1回から30回までを実験することにした。回数が多くなれば安定性が高まるといわれているが、本当にそうなのかを検証する。 Lassoは乱数の影響を受けやすいため、乱数は5つの異なるシードを用意し、