はてなブックマーク

概要 機械学習モデルやAIモデルを運用するにあたって、ABテストを行いたいケースが多くあります。 例えば、運用中の予測モデルAがあり、それに改善を加えたモデルBがあるとします。この時、オフラインの精度においてはBの方が精度が良かったとします。 ここで、Bをデプロイして以降の推論をBに100%任せて良いかというと、そうとも限りません。予測モデルなどの問題ではオフラインでいくら精度が良かろうと、オンラインでの精度が最も重要となるからです。つまり実際に運用された際のデータで精度が出ないと意味がない、ということです。 オフラインとオンラインのデータで分布が異なる可能性は大いにあります。そのため、オフラインで精度が出ていてもオンラインでは精度が出ないことが多々あります。 従って、ここで行いたいのはオンラインのデータにおけるABテストです。具体的には、モデルAとBの両方を平行して運用する期間を設け、そ