MLメタデータによる優れたMLエンジニアリング | TFX | TensorFlow
MLメタデータによる優れたMLエンジニアリング コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 ペンギンを分類するために本番MLパイプラインを設定するシナリオを想定します。パイプラインはトレーニングデータを取り込み、モデルをトレーニングして評価し、それを本番環境にプッシュします。 ただし、後でさまざまな種類のペンギンを含むより大きなデータセットでこのモデルを使用しようとすると、モデルが期待どおりに動作せず、種の分類が正しく開始されないことがわかります。 この時点で、あなたは知ることに興味があります： 利用可能なアーティファクトが本番環境のモデルのみである場合、モデルをデバッグするための最も効率的な方法は何ですか？モデルのトレーニングに使用されたトレーニングデータセットはどれですか？この誤ったモデルにつながったトレーニングの実行はどれですか？モデルの評価結果
Data Version Control(DVC)でデータ分析のモデル作成を再現可能にする - Qiita
Data Version Control(DVC)とは？ データ分析や機械学習のコードを書いているときに遭遇する以下のような問題を解決してくれるツールです。 データセットの管理がつらい 例えば、Gitのリポジトリで大きい容量のデータセットを管理することは不便になりがち Githubには1ファイルのサイズ上限100MBで、それ以上はpushできない(https://help.github.com/articles/what-is-my-disk-quota/) 実験条件が微妙に異なるときのバージョン管理 ハイパパラメータ、前処理、データセットが異なるときバージョン管理は煩雑になりがち 実験を再現できるようにする工夫が必要 データセット、スクリプト、各種パラメータなどがそろっていないとモデル作成が再現できない 中間生成ファイルが階層的にあり、最終的にモデルが生成されるといった時の再現性の担保
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
