Out-Of-Fold (OOF) による機械学習モデルの評価 - Qiita
Out-Of-Fold (OOF) による機械学習モデルの評価 1. OOFとは？ Out-Of-Fold (OOF)とは、クロスバリデーションの一部で、特にK-foldクロスバリデーションの際に用いられる概念です。データセットをK個の部分集合（フォールド）に分け、K-1個のフォールドを訓練データとし、残り1個のフォールドをテストデータとして利用します。この手法を全てのフォールドに対して繰り返し、その結果得られた予測値の平均を計算します。 このようにすることで、モデルの未見のデータに対する予測性能をより正確に評価することができます。 2. OOFのPythonによる実装 以下に、RandomForest分類器を用いたOOFのPythonによる実装の例を示します。 from sklearn.model_selection import KFold from sklearn.ensemble
mutation testingについて考えた - Qiita
mutation testingとは？ 以下を参照 https://ja.wikipedia.org/wiki/%E3%83%9F%E3%83%A5%E3%83%BC%E3%83%86%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3%E8%A7%A3%E6%9E%90 コードのいろいろなところを改変して、テストがちゃんと壊れるか？を確認するテストです。 使ってみた rubyのmutantを使いました https://github.com/mbj/mutant 感想 俺たちは手動でよくやっている プログラムのいろいろな箇所を適当にいじってみることってよくあると思います。 目的は、バグのあるプログラムをとりあえずあてずっぽうで直してみるときや、テストがちゃんとfailすることを確認するときや、冗長な箇所を削ってみるときなど、いろいろあると思います。 mutation t
機械学習モデルの実装における、テストについて - Qiita
数あるフレームワークに付属するExample、機械学習モデルを実装してみた、という話。これらに共通して言えるのは「テストがない」ということです。 機械学習のモデルだって、アプリケーションに組み込まれればプロダクションコードの一部です。テストがない実装を本番環境に組み込むか？というと通常そんなことありえないと思います。 ([スタジオジブリ 紅の豚](https://www.amazon.co.jp/dp/B00005R5J6) より拝借) 忘れられがちな点ですが、機械学習モデルは「リリースした瞬間」が最高精度になります。なぜなら、リリースした瞬間こそがその時点で手に入るフルフルのデータを使って鍛え上げたモデルであり、それ以降はどんどん未知のデータが入ってくるためです。 そのため、モデルの精度、また妥当性をいつでも検証できるようにしておくというのはとても重要です。これは通常のコードにテストをつ
機械学習分野におけるテストの自動化 #ques4
第4回 Ques (2014.4.22 開催) でお話する「機械学習分野におけるテストの自動化」の発表資料です。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
