はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに MLOpsエンジニアとして、MLOpsの意義を他人に説明する機会が定期的にあるので、まとめてみました。 このブログでは、MLOps（Machine Learning Operations）という概念を紹介し、機械学習プロジェクトの成功に向けてどのように活用し得るかを記載します。 MLOpsが登場した背景 機械学習（ML）は今日、ビジネスにおいて重要な役割を果たしています。 しかし、機械学習プロジェクトというのは「データサイエンティストが自身のラップトップでモデルを開発すれば終わり」ではありません。そのモデルがシステム・プロダク

Python開発環境構築手順（VSCode, Docker, Poetry, isort, black, flake8, pytest）Python はじめに Python開発環境を整備し直したときのメモです コードはこちらに配置しています どういう開発環境を作るか VSCode・Docker上で実行する（ローカルでの実行を想定） パッケージ管理はPoetryを利用する linter, formatterはisort, black, flake8を利用する コマンドだけでなくVSCodeからも利用する テストはpytestを利用する Jupyter Notebookも利用可能にしておく セットアップ手順 事前準備【ローカル】 VSCode・Dockerのインストール VSCode拡張機能Remote Developmentのインストール 設定ファイルの配置 （参考）フォルダ構成 . ├──

0. はじめに Terraformのディレクトリ構成について改めて考えてみたときのメモです。 今回久しぶりにTerraformを触るに際し、そろそろ『正解のディレクトリ構成』があるのかと思って調べて見ましたが、どうやら全ての状況に当てはまる正解というものはなく、構築するシステム構成に応じてベストなものを模索していかなければならない認識です。 前提として、中規模くらいのシステム・環境ごとの差異は多少ある（特にprod/stgとdev間）、を想定しています。 1. ディレクトリ構成 採用したディレクトリ構成案 最初に結論 . ├── env │   ├── prod │   │   ├── datastore │   │   ├── network │   │   │   ├── main.tf │   │   │   └── output.tf │   │   ├── opsserver │

1. はじめに 昨今、AI・機械学習関連技術が基礎研究のフェーズを抜け、製品開発のフェーズにて本番稼働システムに投入・運用されることが多くなるに連れて聞くことが多くなった「MLOps」という概念について、簡単に書きます。 本記事ではMLOpsの概要を記載し、実践的な取り組みについては別途記載します。 2. 機械学習プロジェクトの課題 機械学習プロジェクトを遂行していくことを阻害する課題として、例えば下記があります。 学習リソースが枯渇して、迅速な実験ができない 学習環境のスピーディなスケール ex. 並列で実験を回したいが、個別所有のGPUマシンだと1並列しか回せず、共同利用のGPUマシンは混んでいて使えない。（昨日まではGPUマシンを遊ばせていたのだが。。） ローカルで良い実験結果が出る->本番環境への適用、に時間がかかる ローカルで良い実験結果が出る->本番環境への適用、までに発生する