こんにちは、@vimmodeです。自然言語界隈ではBERTを始めとしたTransformerベースの手法の進化が目覚ましいですが、実運用されている話はあまり聞きません。 その理由としてモデルのサイズの大きさと推論速度の遅さに一定起因すると感じており、この記事はその解消になり得る量子化と呼ばれる手法の紹介とPyTorchで実装されたBERTモデルに量子化を適応する方法を紹介します。 量子化とは 量子化という単語は数学や物理など様々な領域で使われています。ここで述べる量子化は情報理論における量子化であり、主に連続値を離散値で表現することを考えます。 機械学習の枠組みで考えるとモデルのパラメータや学習時の勾配（場合によっては入力と出力データも含める）の数値表現を浮動小数点から整数に変更することを目的にします。 ディープラーニングではパラメータ等をfloat32で表現することが多いですが、もしこれ

BERTとは？特徴を知っておこう BERTとは「Bidirectional Encoder Representations from Transformers（Transformerによる双方向のエンコード表現）」を指し、2018年10月11日にGoogleが発表した自然言語処理モデルです。 BERTの特徴として、汎用性の高さが挙げられます。これは、WikipediaやBooksCorpusなどから得た大量の文章データを学習モデルが事前学習し、文章理解や感情分析などの様々なタスクに応用できるというものです。 例えば、感情分析タスクであれば、与えられた文から感情を読み取って「肯定的」か「否定的」かのどちらであるかという結果を出力できます。これを活かして、アルゴリズムが複数の映画レビューを参照し、その映画の平均的な評価を分析するというタスクを高精度で行っています。 また、BERTは、今後「文脈

前回は Rasa NLU を用いて文章分類と固有表現抽出について紹介しました。今回は昨年後半に話題となった BERT について説明し、chABSAデータセットを用いた感情分析での実験結果、アプリケーションへの組み込み方などを紹介します。 1. 始めに 本記事では Google の BERT について、その概要を紹介し、BERT の事前学習済みモデルを用いてファインチューニングにより独自のモデルを構築することを念頭に、BERT の入出力インタフェースや学習データの構造を説明します。そして、ファインチューニングにより独自のモデルを構築する例として、chABSA データセットを用いた感情分析モデル生成の実験結果およびアプリケーションから利用する際のポイントを紹介します。 2. BERTの概要 BERT (Bidirectional Encoder Representations from Tra

自然言語を処理している方なら必ず聞いたことのある「BERT」。初めてBERTについて勉強したところ、この様な疑問が出てきました。 - 「BERTは何のデータを入力して何ができるのか」、 - 「BERTに関する記事は何故Self-Attention層しか説明してないのか」、 - 「一見何も出来なさそうなBERTなのになぜ神格化されるのか」 この様な疑問を答える為、今日はBERTの細かい構造と数学を無視して大まかにBERTの役割に関して説明してみます。 BERTとはBERTは 2018年Googleが発表した自然言語処理(NLP)モデルです。発表した論文の名前は「 “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”.」で、Self-Attention層で使ったTransformer

備考 中山 光樹（なかやま ひろき） 1991年生まれ。電気通信大学卒、電気通信大学情報理工学研究科修士課程修了。現在、企業にて、自然言語処理や機械学習に研究開発に従事。また、GitHub上でオープンソースソフトウェアの自然言語処理ライブラリ開発にも貢献している。 Contents Chapter 1 自然言語処理の基礎 1-1 本章の概要 1-2 自然言語処理とは？ 1-2-1 自然言語と人工言語 1-2-2 自然言語処理 1-3 自然言語処理のタスク 1-3-1 自然言語処理の基礎技術 1-3-2 自然言語処理の応用技術 1-4 自然言語処理の難しさ 1-4-1 おさらい Chapter 2 機械学習 2-1 本章の概要 2-2 機械学習とは？ 2-3 教師あり学習 2-3-1 分類 2-3-2 回帰 2-4 教師なし学習 2-4-1 クラスタリング 2-4-2 次元削減 2-5 強化

BERT（Bidirectional Transformers for Language Understanding）とは，2018年9月11日にarXivに公開された論文のモデルです．（BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding）このBERTが出た当時，NLP界隈ではかなり騒がれていました．転移学習が可能で，様々なタスクにおいてSOTAと達成し，加えて，RNNベースではなく，Attentionベースなため並列計算ができ，学習速度も速い．（モデルの大きさにもよりますが） しかし，学習速度がある程度早く，かつ高精度なBERTですが，欠点を上げるとすればモデルがかなり大きいことでしょう．標準のBERTでもTransformerが12層も積み重なっています．今回紹介するのは、その