Effective testing for machine learning systems.

Working as a core maintainer for PyTorch Lightning, I've grown a strong appreciation for the value of tests in software development. As I've been spinning up a new project at work, I've been spending a fair amount of time thinking about how we should test machine learning systems. A couple weeks ago, one of my coworkers sent me a fascinating paper on the topic which inspired me to dig in, collect

[masaki925_8107]

Model evaluation とModel tests を分けて、tests の中にはpre-train とpost-train がある、というデザイン。参考になる。

[misshiki]

“従来のソフトウェア開発でのテストの様子、機械学習システムのテストが異なる理由、および機械学習システムで効果的なテストを作成するための戦略について説明します。”

[hnishi2509]

機械学習のテスト