深層学習のハイパーパラメータを Ray Tune で最適化 - Qiita

学習部分を関数で定義 学習に関わる部分を関数 train(config, options) として定義する．引数の定義は以下の通り． config: 最適化 したい ハイパーパラメータを保存した辞書．必須． options: 最適化 しない ハイパーパラメータを保存した辞書．なくても良い． 例えば，関数は以下のように定義しておく．今回は学習するモデルとして WideResNet を採用している．モデル実装はこの記事の一番最後に付録として掲載する．また，途中で出てくる train_loop() は学習を1エポック回す独自関数，save_model() は学習途中のモデルのパラメータを保存する独自関数，load_data()はデータセットをロードする独自関数だと思っておけば良い．これも実装は最後の付録を参照． train関数の実装 from filelock import FileLock f

[sh19910711]

"Ray Tune: PyTorchの公式チュートリアルにも採用 + 既存の学習用実装をそれほど大きく変更することなくハイパーパラメータ最適化が実現 / 古くは scikit-learn などでも実装されるグリッドサーチが標準的" 2021