Nix、Cachix、GitHub Actionsによるワークフローの紹介 - Qiita

概要 機械学習はパイプライン、コード、データのそれぞれ多様で開発中は頻繁に変更するため、コードだけでなくデータのバージョン管理や機械学習の処理のパイプラインを管理する必要があります。 コードの管理はGitHubを使うとしてデータの管理、前処理をしたデータの管理はこれから発展していくと思っています。 今回Nix、Cachix、GitHub Actionsを使った余計なオペレーションのないコードとデータのバージョン管理かつ機械学習の処理のワークフローを紹介します。 実現したいことは次の通りです。 パイプラインをコードで管理する。 これはGitHubで管理できますね。 だれがどの環境で行っても結果が再現される。 これを行うにはデータも使うソフトのバージョン管理が必要です。 結果をキャッシュし無駄な計算をしない。前処理など一度誰かが行った操作はキャッシュしたものを使う。 数GBのデータの管理はGi