ONNXモデルのチューニングテクニック (応用編１)
基礎編 / 応用編１ / 応用編２ サイバーエージェント AI Lab の Conversational Agent Team に所属している兵頭です。今回は私が半年ほど蓄積したONNXのチューニングテクニックを全てブログに残したいと思います。皆さんが既にご存知であろう基本的なことから、かなりトリッキーなチューニングまで幅広くご紹介したいと思います。長文になりますがご容赦願います。今回は応用編１です。 このブログのメインターゲット層は「リサーチャーが実装したモデルを実環境へデプロイするタスクを有する方々」です。一部リサーチャーの方々の参考になる情報が混じっていることもあるかもしれませんが、あまり興味を引かない内容だとは思います。リサーチャーメインの組織に属しながらリサーチエンジニアの立ち位置で身を投じていますので、研究の観点の少し手前あるいは少しその先の部分を担っている立場からこのブログを
ONNXモデルのチューニングテクニック (基礎編)
基礎編 / 応用編１ / 応用編２ サイバーエージェント AI Lab の Conversational Agent Teamに所属している兵頭です。今回は私が半年ほど蓄積したONNXのチューニングテクニックを全てブログに残したいと思います。皆さんが既にご存知であろう基本的なことから、かなりトリッキーなチューニングまで幅広くご紹介したいと思います。長文になりますがご容赦願います。 このブログのメインターゲット層は「リサーチャーが実装したモデルを実環境へデプロイするタスクを有する方々」です。一部リサーチャーの方々の参考になる情報が混じっていることもあるかもしれませんが、あまり興味を引かない内容だとは思います。リサーチャーメインの組織に属しながらリサーチエンジニアの立ち位置で身を投じていますので、研究の観点の少し手前あるいは少しその先の部分を担っている立場からこのブログを記載しているものとご認
ONNX 2020 - OPTiM TECH BLOG
R&D チームの奥村（@izariuo440）です。相変わらず深層学習モデルの推論に取り組んでいます。深層学習モデルの推論器として二年前に ONNX Runtime を軽くレビューしましたが、当時と比較するとかなり進歩しており、ONNX Runtime だけでなく ONNX 自体や関連ソフトウェアも成熟が進んでいるので、備忘録として私がお世話になっているものをかいつまんで紹介します。 OPTiM TECH BLOG Advent Calendar 2020 12/18 の記事です。 ONNX や ONNX Runtime は二年前の記事で少し解説しています。必要に応じてご参照ください。 tech-blog.optim.co.jp ONNX チュートリアル ONNX Model Zoo オプティマイザ その他 ONNX 関連のソフトウェア ONNX Runtime onnx-tensorrt
torch.onnx — PyTorch 2.3 documentation
Community PyTorch Governance | Build + CI PyTorch Contribution Guide PyTorch Design Philosophy PyTorch Governance | Mechanics PyTorch Governance | Maintainers Developer Notes CUDA Automatic Mixed Precision examples Autograd mechanics Broadcasting semantics CPU threading and TorchScript inference CUDA semantics Distributed Data Parallel Extending PyTorch Extending torch.func with autograd.Function
ONNXの最適化まとめ - ぱたへね
ONNXの最適化を一通り試してみたのでまとめ。 サポートしている最適化一覧の取得 サポートしている最適化は、get_available_passesで取得できます。 from onnx import optimizer all_passes = optimizer.get_available_passes() 大きく分けると、このように分類できます。 意味のないOpの削除 （eliminate_deadend等） 2つのOpのfusion （fuse_matmul_add_bias_into_gemm等） Convへのfusion （fuse_add_bias_into_conv等） その他 convへのfuseは全く動かず、バージョンアップ待ちです。 最適化の結果 Qiitaにそれぞれまとめました。 ONNXでeliminate_deadend 最適化 ONNXで eliminate_i
(optional) Exporting a Model from PyTorch to ONNX and Running it using ONNX Runtime — PyTorch Tutorials 2.3.0+cu121 documentation
Learn Get Started Run PyTorch locally or get started quickly with one of the supported cloud platforms Tutorials Whats new in PyTorch tutorials Learn the Basics Familiarize yourself with PyTorch concepts and modules PyTorch Recipes Bite-size, ready-to-deploy PyTorch code examples Intro to PyTorch - YouTube Series Master PyTorch basics with our engaging YouTube tutorial series
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - PINTO0309/ssc4onnx: Checker with simple ONNX model structure. Simple Structure Checker for ONNX.
GitHub - PINTO0309/snc4onnx: Simple tool to combine(merge) onnx models. Simple Network Combine Tool for ONNX.
http://arpieb.com/2021/11/13/working-with-microsofts-onnx-runtime/?s=09
GitHub - PINTO0309/openvino2tensorflow: This script converts the ONNX/OpenVINO IR model to Tensorflow's saved_model, tflite, h5, tfjs, tftrt(TensorRT), CoreML, EdgeTPU, ONNX and pb. PyTorch (NCHW) -> ONNX (NCHW) -> OpenVINO (NCHW) -> openvino2tensorflow -
GitHub - microsoft/onnxruntime-extensions: onnxruntime-extensions: A specialized pre- and post- processing library for ONNX Runtime
GitHub - daquexian/onnx-simplifier: Simplify your onnx model
Operationalizing PyTorch Models Using ONNX and ONNX Runtime
Is there an easy way to convert ONNX or PB from (NCHW) to (NHWC)? · Issue #15 · PINTO0309/PINTO_model_zoo
How to convert almost any PyTorch model to ONNX and serve it using flask
Release ONNX Runtime v1.4.0 · microsoft/onnxruntime
open_model_zoo/models/public/ctdet_coco_dlav0_384/model.yml at efd238d02035f8a5417b7b1e25cd4c997d44351f · openvinotoolkit/open_model_zoo
onnxruntime/ONNX_Runtime_Perf_Tuning.md at master · microsoft/onnxruntime · GitHub
PyTorch ONNX Export Support - Lara Haidar, Microsoft
models/ at main · onnx/models