機械学習モデルを軽量化せよ！Tensorflow Liteのモデル最適化について - GMOインターネットグループ グループ研究開発本部
2022.04.05 機械学習モデルを軽量化せよ！Tensorflow Liteのモデル最適化について 次世代システム研究室のT.Sです。機械学習が一般的になり、Web等のサーバサイドのようなパワフルなサーバ上ではなく、メモリもCPUも脆弱なモバイル端末上で動くことも多くなってきました。そのようなプログラムを開発する際に注意しなければいけない点としてモデルの軽量化（最適化）になります。性能が限定されているモバイル端末やIoT機器では、サーバサイドとは事情が異なりますからね。今回は、Tensorflow Liteが用意しているモデル最適化の仕組みをご紹介し、理解の助けになればよいかと思います。またモバイル端末だけではなく、通常のサーバサイドでも処理高速化で使えるテクニックがあるので、是非どこで使えるのかを含めご覧いただければと思います TL;DR 量子化やその他最適化手法を用いると精度を大き
エッジAI(Jetson Nano 2GB)でTensorRTを用いて推論高速化をしてみました - GMOインターネットグループ グループ研究開発本部
こんにちは。次世代システム研究室のK.S.（女性、外国人）です。 今回はエッジAI（Jetson Nano 2GB）で遊んでみた話を続けます。前回のブログではお試しにJetson Nano 2GBでNVIDIAのHello AI Worldを使って物体をリアルタイム認識してみました。本四半期(2021Q1)はもう少し詳しく手を動かして実装します。主に、Jetsonの計算を高速化するためのNVIDIA TensorRTという高性能の深層学習推論について勉強してきたことを共有させて頂きたいと思います。また、今回はエッジAIをご理解頂いている前提で書いていますので、エッジAIについては前回のブログを参考にしてください。加えて、推論実験のスピードテストのための写真にも沢山の桜を使用し、最後のところでは生田緑地の見晴らしの良い丘でのリアルタイム認識スピード実験も共有します。 TL;DR（要約） NV
本番で、簡単に機械学習モデル運用ーTensorflow Servingの紹介 - GMOインターネットグループ グループ研究開発本部
こんにちは、次世代システム研究室のA.Zです。 機械学習モデルを作成した後、どうすれば本番で、簡単に誰でも利用できるかお悩みある方もいると思います。モデルを利用したい時、何かしらプログラムを実行し、そのあと結果を確認する時が多いと思います。また、外部システムと連携するときに、接続するためのコミュニケーションやテストなども以外と工数がかかります。 今回は機械学習モデルのサービング(serving)フレームワーク、Tensorflow Servingについて、簡単に紹介したいと思います。 はじめに Tensorflow(TF) Servingとは学習済の機械学習モデルサービングするためのフレームワークです。 TF ServingではREST APIとgRPCインターフェスが提供されているので、こちらのフレームワークを使えば、学習済モデルが簡単に他のシステムやだれでも利用できます。 名前がTen
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
