タグ

関連タグで絞り込む (2)

タグの絞り込みを解除

MLOpsと機械学習に関するmasaki925_8107のブックマーク (2)

  • Effective testing for machine learning systems.

    Working as a core maintainer for PyTorch Lightning, I've grown a strong appreciation for the value of tests in software development. As I've been spinning up a new project at work, I've been spending a fair amount of time thinking about how we should test machine learning systems. A couple weeks ago, one of my coworkers sent me a fascinating paper on the topic which inspired me to dig in, collect

    Effective testing for machine learning systems.
    masaki925_8107
    masaki925_8107 2020/09/29
    Model evaluation とModel tests を分けて、tests の中にはpre-train とpost-train がある、というデザイン。参考になる。
  • 機械学習アプリケーションにおけるテストについて - Re:ゼロから始めるML生活

    機械学習系の話題が多い昨今ですが、実際触ってみると期待した精度・結果が出ないなんてことはよくあることではないでしょうか。 機械学習特有の性質として、データ自体がモデルを変化させ、結果として業務に影響を与えたりします。 仮に、機械学習屋さんが精度が出るモデルを構築したと言っても、それを導入するときに、システム全体での品質の維持に苦労したりします。 ということで、不確実性の大きい機械学習系開発についての、設計・テスト戦略でどうやってリスクを低減していけるかが一つカギになってくると思い、方法論について勉強しましたので、そのメモです。 非常に参考にしたのはこちら。 arxiv.org テストそのもののテクニックなどは、一般的なテスト駆動開発に関する書籍を合わせてをご参考ください。 テスト駆動開発 作者:Kent Beck発売日: 2017/10/14メディア: 単行(ソフトカバー) テスト駆動P

    機械学習アプリケーションにおけるテストについて - Re:ゼロから始めるML生活
    masaki925_8107
    masaki925_8107 2020/04/19
    めちゃくちゃ価値のある体系化だ。これらを網羅実践できてるとこあんまり無さそう。アドテク界隈はここらへん先行してそうだけどどの程度現実的な実装に落とし込めてるのか気になる (チラッ
  • 1