物体検出モデルの推論高速化入門
はじめに 株式会社EVERSTEELで機械学習エンジニアをしている加藤です。 機械学習システムの運用において、推論の高速化は重要な課題です。特にリアルタイムでの処理が求められるアプリケーションでは、レスポンス時間の短縮がユーザー体験に直結します。また、クラウド環境のコスト削減やエッジデバイスのリソース制約など、様々な観点から推論の効率化が必要とされます。 本記事では特に物体検出モデルのCPU推論に焦点を当て、ディープラーニングモデルの推論を高速化する方法を紹介するとともに、それらのベンチマーク結果を共有します。 「鉄ナビ検収AI」における推論高速化ニーズ 弊社では鉄スクラップの画像解析を行う「鉄ナビ検収AI」というアプリケーションを開発しています。本アプリケーションを提供するために多様な画像認識モデルを運用していますが、その中でも速度要件が厳しいものとして、荷台検出モデルが存在します。 荷
軽量なセグメンテーションモデルのNanoSAM を試す
こんにちは、HACARUS でインターンをしている山下です。 今回は、Segment Anything Model (SAM) のような高性能のセグメンテーションモデルを限られたリソース下で利用したい場合の選択肢となる NanoSAM (Apache License 2.0) を紹介します！ NanoSAM は通常の SAM とどう違うのか？ SAM は Meta によって公開された高性能のセグメンテーションモデルです。SAM の基本的な使い方 や 他のモデルと組み合わせて使う方法 は、以前の記事で紹介しました。 SAMは、入力画像を image encoder でテンソルに変換した上で座標指定などのプロンプトと組み合わせ、mask decoder でマスクを出力するという構造になっています。 SAM の構造（パラメータ数は実測値） 上の画像中にも示したとおり、NanoSAM の構造上の
SSII2019OS: 深層学習にかかる時間を短くしてみませんか？ ～分散学習の勧め～
SSII2019 オーガナイズドセッション3「深層学習の高速化 ～高速チップ、分散学習、軽量モデル～」 6月14日(金) 10:35〜12:05 (メインホール)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
