はてなブックマーク

1. 概要 NVIDIA が提供するプロファイリングツール　Nsight を使って、Jetson Nano で動作するアプリの性能ボトルネックを見つける方法をまとめます。 今回私が Nsight を使おうと思ったきっかけは、前回記事 でもネチネチと作業したように、 TensorFlow Lite GPU Delegate (OpenGLESバックエンド) を使ったアプリを少しでも速くしたかったからです。 ですので、下記のような Posenet による姿勢推測処理負荷の高いアプリを観測対象とします。 なお、観測対象アプリのソースコードは下記にあります： https://github.com/terryky/tflite_gles_app/tree/master/gl2posenet 2. Nsight について 2.1 Nsight 3兄弟 公式ページ にある通り、2019/12月時点におい

1. はじめに 世の中にはDeepLearningの学習済みモデルを公開してくださっている方がたくさんいらっしゃいます。本記事は、そのうちのいくつかをラズパイ４で動かしてみて、いったいどれくらいの速度で動くのかを検証したものです。 計測対象モデルとして、Mediapipe および TensorFlow.js、TensorFlow Lite models で公開されている学習済みモデルを利用させて頂きました。またモデル実行フレームワークとしては、モバイル向けに整備が進む TensorFlow Lite (C++) を用いました。 計測にあたっては、公開されているモデルをそのまま動かすだけでなく、一般的な高速化手法である下記の２手法を両方試し、その効果も計測しました。 [1] モデルをint8量子化する方法 演算精度に多少目をつぶる代わりに、NEON等のSIMD演算器による並列処理の並列度をさ

0. 更新履歴 (2020/06/27) Tensorflow r2.3用に記述内容を全面修正しました。 1. はじめに ラズパイ４の OpenGLES はリリース当初 ver 3.0 でしたが、2020/1月に ver 3.1 にアップデートされました。 OpenGLES 3.1 では、ComputeShader が使えるようになり、GPGPUプログラミングしやすくなります。超うれしいアップデートです。 一方 TensorFlow Lite には、推論にかかる演算処理を CPUからGPU にオフロードする GPU Delegate 機能があります。 この GPU Delegate は、さらに V1(OpenGLES) と V2(OpenCL) とがあり、V1 は OpenGLES 3.1 が使える環境であれば動かすことができます。V2は OpenCL が使える環境での動作を想定しています