TensorFlow LiteがAndroidやiOSデバイスのGPUをサポートしたようです1。 TensorFlow Lite Now Faster with Mobile GPUs (Developer Preview) バックエンドはAndroidではOpenGL ES 3.1、iOSではMetal。 This new backend leverages: OpenGL ES 3.1 Compute Shaders on Android devices Metal Compute Shaders on iOS devices iPhone 7では最大6倍の高速化が見られたようです。 By leveraging the new GPU backend in the future, inference can be sped up from ~4x on Pixel 3 and Sams