このシリーズでは機械学習システムにおけるテストについて考えていきます。次の図は DevOps のプラクティスにおいてテストが密接に関わっていることをよく表しています。(図はブログポスト Continuous Testing in DevOps… — Dan Ashby をもとに弊社で作成しました) システム開発においてテストは必要不可欠なものであり、開発のすべての工程と密接に関わっています。このため、テストを自動化しておき、開発者の環境や CI/CD パイプラインで常に実行するのは近代的な開発において一般的です。 一方、機械学習システムのテストは非常に困難であったり、場合によっては不可能なこともあります。このことはよく知られており、たとえば最近では2021年12月に開かれたNeurIPS Data-Centric AI Workshopのセッションのひとつである Technical Deb