物体検出モデルの推論高速化入門
はじめに 株式会社EVERSTEELで機械学習エンジニアをしている加藤です。 機械学習システムの運用において、推論の高速化は重要な課題です。特にリアルタイムでの処理が求められるアプリケーションでは、レスポンス時間の短縮がユーザー体験に直結します。また、クラウド環境のコスト削減やエッジデバイスのリソース制約など、様々な観点から推論の効率化が必要とされます。 本記事では特に物体検出モデルのCPU推論に焦点を当て、ディープラーニングモデルの推論を高速化する方法を紹介するとともに、それらのベンチマーク結果を共有します。 「鉄ナビ検収AI」における推論高速化ニーズ 弊社では鉄スクラップの画像解析を行う「鉄ナビ検収AI」というアプリケーションを開発しています。本アプリケーションを提供するために多様な画像認識モデルを運用していますが、その中でも速度要件が厳しいものとして、荷台検出モデルが存在します。 荷
マトリョーシカ・レトリーバーとは？次元削減で検索が早くなる！
OpenAIのAPIに次元削減という機能がつきました。 dimensionsというキーに次元数を指定すると、その次元に削減ができます。 openai.embeddings.create({ model: 'text-embedding-3-large', input: 'The cat chases the mouse', dimensions: 1024, # 1024まで次元削減する }) ちなみにdimensionsを指定しないとフルサイズで埋め込みが作成されます。 このオプションについてLangChainが記事を出していたので解説します。 埋め込みとは文章、画像、動画などの類似度を得ることができるベクトル表現です。 物の位置を知るためにX,Y,Z軸の3軸で表現しますが、これは3次元のベクトル表現です。 埋め込みベクトルはこれが数千とか数万になります。 [-0.023972103,
軽量なセグメンテーションモデルのNanoSAM を試す
こんにちは、HACARUS でインターンをしている山下です。 今回は、Segment Anything Model (SAM) のような高性能のセグメンテーションモデルを限られたリソース下で利用したい場合の選択肢となる NanoSAM (Apache License 2.0) を紹介します！ NanoSAM は通常の SAM とどう違うのか？ SAM は Meta によって公開された高性能のセグメンテーションモデルです。SAM の基本的な使い方 や 他のモデルと組み合わせて使う方法 は、以前の記事で紹介しました。 SAMは、入力画像を image encoder でテンソルに変換した上で座標指定などのプロンプトと組み合わせ、mask decoder でマスクを出力するという構造になっています。 SAM の構造（パラメータ数は実測値） 上の画像中にも示したとおり、NanoSAM の構造上の
SSII2019OS: 深層学習にかかる時間を短くしてみませんか？ ～分散学習の勧め～
SSII2019 オーガナイズドセッション3「深層学習の高速化 ～高速チップ、分散学習、軽量モデル～」 6月14日(金) 10:35〜12:05 (メインホール)
「深層ニューラルネットワークの高速化」読んだらめっちゃ良かったよって話 - ふぁむたろうのブログ
gihyo.jp 上記を読んだところめっちゃ良かったので感想として残しておきます。 自分の場合1回読んだから終わりというより度々振り返りで読み直すことになりそうです。 どんな本？ DNNの高速化（=効率化）という切り口で実装から理論的背景（あれば）まで網羅している本 比較的最近のトピック（モデルマージ）にも触れている 他には生成モデルやLLMで扱われがちな高速化についても触れられている Flash Attention とかも記載されてる 「推論のしくみから紐解く高速化の原理」とあるが学習面についても記載されてる 何が良かったの？ 各背景や実装の手間についても触れているところ 高速化のトレードオフ対象として精度が挙げられがちだけど、実際には実装の手間もあるという現実 「DNN 高速化」でググればネット上にもまとめが沢山あるけど最近は記事が多すぎるし背景もバラバラなので正直追うの辛い 背景の例
なぜCatboostの推論は速いの？ - 簡単なレポート
前回の記事｢AutoML v.s. Catboost｣に出てくるCatboostは、XGBoostやLightGBMと比べて30-60倍も推論が速いという特徴があります。 推論時間は、kaggleなどのコンペでは推論に時間をかけられるのであまり気にしませんが、実サービスとなると重要ですよね。 推論時間の比較 以下のグラフは、3大GBDTライブラリでの推論時間比較です。Catboostがずば抜けて速いことがやかります。 そして学習時間の速さに定評があるLightGBMは、なんと最遅です。 この推論時間の速さは、CatboostがGBDTのベースとなる決定木に symmetric tree と呼ばれる、特殊な形の木を使っているからです。 ここで、symmetric treeとは以下の図の右側のような木です。左側は普通の決定木です。 なぜsymmetric treeは速いか ｢同一の深さではすべ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
20250226 NLP colloquium: "SoftMatcha: 10億単語規模コーパス検索のための柔らかくも高速なパターンマッチャー"
