AWS Machine Learning Blog RAPIDS and Amazon SageMaker: Scale up and scale out to tackle ML challenges In this post, we combine the powers of NVIDIA RAPIDS and Amazon SageMaker to accelerate hyperparameter optimization (HPO). HPO runs many training jobs on your dataset using different settings to find the best-performing model configuration. HPO helps data scientists reach top performance, and is a
CTOの椎名です。最近弊社では家族アプリFammの印刷・配送・通知など様々な処理を使うために AWS Lambda と AWS Batch を使う量が増えてきて、ECS Fargate も徐々に導入をはじめてきました。 Lambda も Batch も ECS Task も、何かのジョブを単発/定期でサーバー無しで実行するための手段として似ているところがあります。何かのバッチ/ジョブを作る時に「これはLambdaで作るべきか?Batchで作るべきか?」などで迷う事もあります。もちろん製品名の通り「バッチならAWS Batch」と言う考え方もありますが、AWS Batchではオーバーキルな時もあれば、かゆいところに手が届かない時もあります。 今回はこれらの特徴やメリット/デメリットの比較をまとめます。 AWS Lambda 簡単に言うと「コードだけアップロードして実行トリガーを決めればその通
プロファイラ cProfile プログラムが、どの関数でどれぐらい時間がかかっているかをプロファイリングしてくれます。 ざっくり関数レベルでのプロファイルを調べるのに使います。 参考:https://docs.python.jp/3/library/profile.html line_profile 行ごとにどの程度の時間がかかっているのかを調べます。 cProfileであたりをつけた関数のプロファイルを調べるのに使います。 全体(main)に使うことも可能ですが、行ごとに結果が出てきます。 参考:https://github.com/rkern/line_profiler 以下では、それぞれについて、 - 実行する方法:コマンドラインから行う場合とコードに組み込んで実行する場合 - 確認する方法:標準出力とファイル出力の場合 について説明します。 cProfile プログラムが、どの関数
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く