エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Hugging face t5-base-japaneseをTensor-RTで高速化してみた
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Hugging face t5-base-japaneseをTensor-RTで高速化してみた
Tensor RTの方が、約 5倍速くなっています。 詰まった部分の解説 公式t5変換notebook の実装に対して、... Tensor RTの方が、約 5倍速くなっています。 詰まった部分の解説 公式t5変換notebook の実装に対して、修正した部分を解説します。 T5_VARIANT = 't5-small' は、't5-base' など対象のモデルに合わせる必要がある。 TensorRT/demo/HuggingFace/T5/T5ModelConfig.pyのT5ModelTRConfigをモデルのconfigファイルに合わせる。 今回は、モデルのVOCAB SIZEが32128から、32000へ変更した。 fp16の設定 fp16を使用しない場合、false metadata=NetworkMetadata(variant=variant, precision=Precision(fp16=False), other=T5Metadata(kv_cache=False)) Tensor-RTへの変