ディープラーニングは各層の種類、活性化層の種類、オプティマイザの種類、オプティマイザのハイパーパラメータ、などなどたくさんあり、 手で最適化していくのは大変です。 そんなとき、 1. グリッドサーチ:パラメーターの候補の組み合わせパターンを全て調べる。 2. ランダマイズドサーチ:パラメーターの候補の組み合わせパターンを全て調べる。 3. その他賢いアルゴリズム系のサーチ:ベイジアン最適化、Tree-structured Parzen Estimator Approach(hyperopt) といった、ものが使えます。 グリッドサーチはハイパーパラメータが少ない機械学習アルゴリズムでは有効ですが、ディープラーニングではあまりおすすめしません。実際には2.か3.を選ぶことになります。 賢い系のアルゴリズムはより有望そうなパラメータを試そうとしてくれます。 今回はhyperoptを使った例を書
Amazon Web Services ブログ 複数の GPU に対する深層学習トレーニングをスケーリングするためのハイパーパラメーターの調整の重要性 複数の GPU による並列プロセスは、深層モデルのトレーニングのスケーリングを行う上で重要なステップです。トレーニングを繰り返すたびに、一般的に、ミニバッチと呼ばれるデータセットの小さなサブセットがプロセスされます。単一の GPU が使用可能の場合、それぞれのトレーニングの繰り返しにおけるミニバッチの処理は、この GPU により取り扱われます。複数の GPU でトレーニングするとき、ミニバッチはプロセスの負荷を均等に分散するために使用可能な GPU 全体に分割されます。各 GPU を完全に使用するためには、各追加 GPU でミニバッチのサイズを直線的に増大させる必要があります。ミニバッチのサイズは、トレーニング速度に影響を与えるだけではなく
Launch VS Code Quick Open (Ctrl+P), paste the following command, and press enter. CloudFormation support for Visual Studio Code This is a fork of ST3 CloudFormation plugin. News Introducing two release channels: Stable for scheduled update cycle Nightly for fast updates based on community commits You can find both under section Releases on Github: https://github.com/aws-scripting-guy/cform-VSCode/
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く