はてなブックマーク

はじめに こんにちは、(株)日立製作所 研究開発グループ サービスコンピューティング研究部の露木です。 最近のKubernetesの隆盛により，Dockerコンテナの実行環境はとても充実しています。一方で，コンテナイメージのビルド環境はどうでしょうか。開発者が，手元のノートPCの限られた計算リソースをやりくりしながら docker build しているのはよくある話です。Kubernetesクラスタには潤沢な計算リソースがあるのですから，これを利用してビルド環境も効率化してしまいましょう。 目指す構成 このような背景から，本記事では moby/buildkit を既存のKubernetesクラスタにデプロイ 手元のノートPCで開発したDockerfileをKubernetes上でビルド 社内にあるDockerレジストリへ自動的にpushする までの手順を公開します。この構成では Kuber

1. はじめに こんにちは，(株) 日立製作所 Lumada Data Science Lab. の露木です。 今回はJupyterノートブックで引数付きのバッチ実行を可能にし，ハイパーパラメータ探索などを効率化するPapermill というOSSを紹介します。Papermillの設計思想や他ツールと組み合わせたシステムの全体像については，開発元のNetflixが詳細な記事 を公開しているのでそちらもぜひご覧ください。 1.1. Jupyterの利点 データサイエンス分野の方々であれば，機械学習スクリプトの試作やレポート作成のためにJupyterノートブックの形式でコーディングをすることはよくあるかと思います。Jupyterノートブックであれば，図1のようにMarkdownの形式の説明文とともにソースコードと実行結果をまとめられるため，第三者に計算の内容と結果をわかりやすく伝えられます (

はじめに こんにちは，(株)日立製作所 研究開発グループ サービスコンピューティング研究部の露木です。 機械学習モデルの開発・運用にはモデルのアルゴリズム，ハイパーパラメータや精度指標を記録し，後から再現できるように整理する「実験管理」が重要です。実験管理は従来，データサイエンティスト個々人のやり方でExcelやDB等を使って実施されてきましたが，近年はDatabricsやMicrosoftが開発に参加するオープンソースの実験管理ソフトMLflowが2018年に公開され，実用的になってきています。本記事ではサポートベクトル回帰の実験管理を例として，MLlfowの使い方をソースコードと共に示します。 特に開発者個人ではなく，開発チームや運用チームで実験結果を共有できるように，リモートにあるMLflow Trackingサーバを利用して実験結果の記録と参照をする方法を示します。 機械学習の実験

それぞれのノードの詳細は下記の通りです。 管理ノードの構成 ホスト名: miso IPアドレス: 192.168.1.2 GPU: 2本 計算ノードとしての役割も兼用させる 計算ノードの構成 ホスト名: sio IPアドレス: 192.168.1.3 GPU: 3本 前提環境 管理ノードと計算ノードには下記の環境が整っていることを前提とします。その上で，PBSProをインストールする手順を次節以後に説明していきます。 OS (Ubuntu 18.04) はインストール済み Docker と nvidia-docker 2.0をインストール済み 管理ノードと計算ノードの /home ディレクトリはNFSで共有済み PBSProパッケージのコンパイル まず，PBSProのインストール用パッケージ (rpm, debファイル) をコンパイルします。コンパイル環境として，以下の内容でDockerf