BERT推論の高速化：さまざまなアプローチ

イントロ 最近、トランスフォーマーとトランスフォーマーのようなアーキテクチャーが、事実上の最先端のNLPとして引き継がれています。良い例はBERTです。BERTと、RoBERTaやAlBERTなどのさまざまないとこは、一連のテキストから埋め込みを生成します。埋め込みは、分類、意味的類似性、Q＆Aなどのさまざまなダウンストリームタスクで使用でき、それらの一部でほぼ人間レベルのパフォーマンスを実現します。 BERT（および一般的な最先端のNLP）の大きな問題は、この優れた人間レベルが無料で提供されないことです。これは通常、顧客にとっての長い待ち時間と毎月の多額のAWS請求の形で提供されます。 多くの努力がこの課題に取り組むことを試みました。クエリのバッチ処理、柔軟なシーケンス長の許可、スマートなクライアント/サーバー作業の分割は、大いに役立ちます。しかし、実際のBERT推論自体を高速化する方法