データバージョンの管理とは？ データバージョンの管理とは、バイナリデータのバージョンを管理することを指します。データバージョンの管理は、Git 等でのコードのバージョン管理をバイナリデータに拡張しています。実験の再現性を高められるメリットがあります。 DVC とは？ データのバージョンを管理する機能をもつオープンソースソフトウェアです。データのハッシュをテキストファイルで保持し git でバージョン管理します。また、yaml ファイルで実行パイプラインを定義して監視対象データが更新された際にハッシュを更新することで、新しいハッシュ値を含んだデータをバージョン管理します。更新されたデータファイルはキャッシュディレクトリに保存され、必要なタイミングで自動的に復元されます。 データのリモートリポジトリを定義することで、データ一式を簡単なコマンド操作で S3 等へ push / pull すること
Data Version Control(DVC)とは？ データ分析や機械学習のコードを書いているときに遭遇する以下のような問題を解決してくれるツールです。 データセットの管理がつらい 例えば、Gitのリポジトリで大きい容量のデータセットを管理することは不便になりがち Githubには1ファイルのサイズ上限100MBで、それ以上はpushできない(https://help.github.com/articles/what-is-my-disk-quota/) 実験条件が微妙に異なるときのバージョン管理 ハイパパラメータ、前処理、データセットが異なるときバージョン管理は煩雑になりがち 実験を再現できるようにする工夫が必要 データセット、スクリプト、各種パラメータなどがそろっていないとモデル作成が再現できない 中間生成ファイルが階層的にあり、最終的にモデルが生成されるといった時の再現性の担保
ハワイ・アウラニ子連れ旅行〜DWEとDVC〜キッズクラブ「アンティーズ・ビーチハウス」利用 2020年2月8日 2020年2月8日 HAWAII DVC, DWE, アウラニ, アンティーズ, ハワイ, 子連れ旅行 1475View 0件 ハワイ旅行9泊のうち、後半4泊は、 アウラニ・ディズニー・リゾート アンド スパ コオリナ・ハワイに滞在しました。 目の前に美しいビーチ、子供の好奇心を満たしてくれる充実したプール、気軽に触れ合えるキャラクターグリーティング、と至れりつくせりの素晴らしいリゾートでした^_^ コオリナのビーチはゆったりしていてくつろげます 流れるプールの入り口は傾斜になっていて入りやすいです。 流れてます( ・∇・) メネフネ・ブリッジ モアナに変身してサインをもらいました。 （右側にちょっと写っているのが娘ちゃん） ダッフィーとキャラクターグリーティング ブレブレのドナ
DVC を活用した機械学習パイプライン開発の高速化 / Using DVC to accelerate machine learning pipeline development
第8回 MLOps 勉強会 Tokyo (Online) https://mlops.connpass.com/event/211953/
機械学習プロジェクトのデータバージョン管理ツール『DVC』の「Get Started」のサブノート - Qiita
(上図は公式サイトのもの。) はじめに 機械学習(ML)を扱う研究ないし製品開発プロジェクトにおいては、データサイエンティストやMLエンジニアがMLモデルの試作を繰り返すことでモデルの性能を改善しようと努力します。その試行錯誤の過程で発生する問題として、データ(前処理済みデータセットやモデルなど)や精度の管理が煩雑になりがちになります。そのようなプロジェクト内のリソースを適切に管理していないと、意図せずプロジェクトのデータを改変してしまった時に、ある精度はどのようなパラメータでどのようなモデルをどのようなコードで学習した結果なのかわからなくなってしまいます。学習や評価の過程を再現できなければ、数字の客観性に乏しくなってしまいます。したがって、データのバージョンを適切に管理して、成果物のトレーサビリティを担保することが大切になります。 データのバージョン管理ツールとしてまず思い浮かぶのはGi
はじめに dvcのインストール dvcの使い方 ファイル保存先をリモートサーバに設定 まとめ はじめに 最近ではKaggleなどでkernelをsubmitしてコンペティションに参加するなどデータ分析においてもデータの管理や試行した履歴を残すといった再現性により一層注目が集まっていると感じております． そんな中でデータのバージョン管理ツールとしてdvc(Data Version Control)というデータやモデルといった大きいデータを管理するツールがあります． 今回はdvcを試しに使ってデータ管理を行ってみましょう． dvc.org dvcのインストール dvcはGitと連携して基本的に利用します． また，dvcのコマンドはGitライクに作成されているためGitを扱える人にとっては比較的低い学習コストで導入することができます． dvcの仕組みを簡単に説明すると，dvc add でデータや
はじめに 研究環境を全部Dockerにしたい みなさん, Dockerって便利ですよね. プロジェクトを複数持っている時に, 環境を簡単に切り替えることができて最高ですよね. また複数人のプロジェクトも同一の環境で実行できるって, 魅力的ですよね. なんなら, 全部 VSCodeのDev Containerにしたい VSCodeのRemote Container Extension機能のおかげで, Docker環境がますます便利になったと思います. コンテナ内をまるでローカルのようにGUIで扱えるのでDockerに関する学習コストがとりわけ少なくなったように感じます. 個人的には共同のプロジェクトでもDockerを使ってもらいやすくなったと感じています (環境はこちらで構築すれば良いので.) 今回の目標はRstudio + LaTeXの研究環境をまるごとDocker + VSCodeで構築
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
実験の再現性を高めるデータバージョン管理（DVC）の紹介 - techtekt
Data Version Control(DVC)でデータ分析のモデル作成を再現可能にする - Qiita
ハワイ・アウラニ子連れ旅行〜DWEとDVC〜キッズクラブ「アンティーズ・ビーチハウス」利用
dvcによるデータの管理をしてみた - tkherox blog
VSCode + Docker + Rstudio + DVC でポータブルな研究環境を作る