BERTなどの大規模のモデルの課題 - Qiita

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 自然言語処理の画期的なモデル - BERT BERT [Bidirectional Encoder Representations from Transformers] は、Googleのチームに2018年の秋に発表された。トランスフォーマーアーキテクチャを使って、大量のデータで非常に大きいネットワークを画期的な方法でモデルを学習した結果である。学習方法と精度についてこの記事をご参照ください。 オープンソース・情報を自由に交換することを大事にしている機械学習のフィールドでは、新しいアイデアを arxiv.org で論文として公開し、gi

[misshiki]

BERTの転移学習では重みを固定しようとのこと。“一つの解決方法として、DistilBERTのような縮小版のモデル。”

[knok]

dev/testによるチューニングが重要になってきそう。過学習しないように