エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
6 usersがブックマーク
0
0
Huggingface transformersモデルのONNX runtimeによる推論の高速化 - Retrieva TECH BLOG
6 users
tech.retrieva.jp
tech.retrieva.jp
記事へのコメント0件
- 人気コメント
- 新着コメント
新着コメントはまだありません。
このエントリーにコメントしてみましょう。
このエントリーにコメントしてみましょう。
人気コメント算出アルゴリズムの一部にヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Huggingface transformersモデルのONNX runtimeによる推論の高速化 - Retrieva TECH BLOG
Chief Research Officerの西鳥羽 (Jiro Nishitoba (@jnishi) | Twitter) です。 今回はHugging Face Tra... Chief Research Officerの西鳥羽 (Jiro Nishitoba (@jnishi) | Twitter) です。 今回はHugging Face TransformersのモデルのONNX runtimeで実行を試してみました。それにより特にCUDAでの実行では2.4倍近い高速化が行えました。 Hugging Face TransformersのモデルのONNX形式への変換方法から、ONNX runtimeでの実行も含めて紹介したいと思います。 ONNXとは ONNX形式への変換 ONNX形式に変換したモデルを用いて推論する ONNX形式のモデルからGPUでの推論 実験 まとめ ONNXとは ONNX とは、機械学習のモデルを表現するOpenなフォーマットです。機械学習を実現するフレームワークは数多くありますが、ONNX形式での出力をサポートしてるものも多数存在 *1
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
tech.retrieva.jp
tech.retrieva.jp
tech.retrieva.jp
tech.retrieva.jp
kindaipicks.com
anond.hatelabo.jp
note.com/yanotoshihiro
kyoko-np.net
blog.twitter.com
forest.watch.impress.co.jp
it.kensan.net
labo.hatenastaff.com
www.gizmodo.jp
rmatsuoka.hatenablog.com
speakerdeck.com/lhazy
qiita.com/SNQ-2001
hatenablog.com
dev.classmethod.jp
hatenablog.com
