Open Neural Network Exchange (ONNX) の使用が機械学習モデルの推論の最適化にどのように寄与するかについて説明します。 "推論" つまり "モデル スコアリング" は、デプロイされたモデルを使用して実稼働データに対して予測を生成するプロセスです。 推論用に機械学習モデルを最適化するには、ハードウェア機能を最大限に活用するためにモデルと推論ライブラリを調整する必要があります。 クラウドやエッジ、CPU や GPU などのさまざまな種類のプラットフォームで最適なパフォーマンスを引き出そうとすると、このタスクは複雑になります。それぞれのプラットフォームで性能と特性が異なるためです。 さまざまなフレームワークのモデルがあって、それらを異なるプラットフォームで実行する必要がある場合、複雑さが増します。 異なるフレームワークとハードウェアの組み合わせをすべて最適化するに