気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
2 usersがブックマーク
0
0
DeepSpeed Compressionを使ってtask-specific BERTを蒸留してみた - Retrieva TECH BLOG
2 users
tech.retrieva.jp
tech.retrieva.jp
記事へのコメント0件
- 注目コメント
- 新着コメント
新着コメントはまだありません。
このエントリーにコメントしてみましょう。
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
DeepSpeed Compressionを使ってtask-specific BERTを蒸留してみた - Retrieva TECH BLOG
こんにちは。 リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関す... こんにちは。 リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。 ニューラルネットワークモデルの軽量化や推論高速化手法として、蒸留を利用した小さいモデル作成が挙げられます。 今回はtask-specific BERTの蒸留をDeepSpeed Compressionで試してみようと思います。 蒸留を用いたBERTの軽量化とは DeepSpeed Compressionを用いた蒸留 DeepSpeedとは DeepSpeed Compressionを使って蒸留してみる task-specific BERTの用意 DeepSpeedのConfigの作成 蒸留スクリプトの実行 蒸留実験 実験設定 TeacherモデルとStudentモデルの比較 まとめ 蒸留を用いたBERTの軽量化とは 近年、自然言語処
tech.retrieva.jp
tech.retrieva.jp
tech.retrieva.jp
tech.retrieva.jp
togetter.com
anond.hatelabo.jp
president.jp
anond.hatelabo.jp
speakerdeck.com/nagix
japan.cnet.com
note.com/tikuboon_1023
anond.hatelabo.jp
gigazine.net
ichiken-engineering.com
say-notaxi.hatenablog.com
youtu.be
www.goodsmile.info
10keiya.com
