深層学習の量子化に入門してみた 〜BERTをStatic Quantization〜 - Retrieva TECH BLOG

こんにちは。 リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。 前々回、深層学習の量子化について簡単な解説記事を公開しました。 前回はDynamic Quantizationを試した記事を公開しました。 今回はStatic Quantizationを実際に試してみようと思います。 Static Quantizationの概要 ONNX Runtimeを利用した量子化方法紹介 データの準備および単語分割を行う 量子化のConfigを作成 Calibrationを実行してscale factorを計算する 量子化適用前に除外するノードを定義 量子化の実行 量子化実験 実験設定 推論速度の比較 まとめ Static Quantizationの概要 Static Quantization（Post Tr