汎化性能を検証するために訓練データとテストデータに分ける方法は、訓練データをどのように選ぶかによって結果が左右されてしまいます。そのような場合に、交差検証を行うことができます。しかし、偏りのあるデータを評価する際には、標準の方法では不十分な場合があり、ROC曲線やAUCによる評価のほうが良い場合があります。ここでは、汎化性能を評価し、高める方法を書きます。 k分割交差検証 k分割交差検証では、データをk分割し、kのうちの1つをテストデータ、k-1個を訓練データとします。テストデータを選ぶ組合せはk個あるので、k回精度分析を行います。 注意すべきなのは、分割によってデータの偏りが生まれることです。目的変数が[0,0,0,1,1,1,2,2,2]のデータがあるとき、単純に3分割すると0だけからなるテストデータ、1だけからなるテストデータ、2だけからなるテストデータとなり、スコアが0になってしま