GCP を用いた高性能かつスケーラブルなオンライン予測システムの構築方法Yaboo Oyabu, Machine Learning Specialist, Google Cloud Kazuhiro Yamasaki, Deep Learning Solution Architect, NVIDIA 概要このチュートリアルでは GCP 上で NVIDIA Tesla T4 と TensorRT Inference Server (以降 TRTIS) を用いて高性能なオンライン予測システムを構築する手順と、そのパフォーマンス計測・チューニング方法を説明します。このチュートリアルを完了すると、TensorRT に最適化された機械学習モデルが Cloud Storage に格納されます。また、 オンライン予測と負荷テストを実施するための GKE クラスタが作成されます。 本記事は Google Cloud Next 2019 Tokyo におけるセッション『GCP
