GitHub - hppRC/bert-classification-tutorial: 【2023年版】BERTによるテキスト分類

Googleが2018年に発表したBERTは、その性能の高さや利便性から、今やあらゆる自然言語処理タスクで汎用的に用いられるようになっています。 BERTは事前学習済み言語モデル (Pretrained Language Model) と呼ばれるモデルの一種で、大量のテキストで事前にモデルの学習をおこなっておくことで、様々なタスクに利用できる言語知識を獲得しています。 この言語知識を転用することで、多様なタスクについて、今までよりも少ない学習データで非常に高い性能を発揮できることがわかっています。 BERTをテキスト分類などのタスクに適用する際は、BERTを微調整(fine-tuning)することでタスクを解きます。 例えば、ある映画のレビューが好意的(positive)か否定的(negative)かを分類するタスクを考えると、微調整の流れは以下のようになります。 レビューテキストを事前学

[roshi]

livedoorニュースコーパス自体は公開時点で正しく分類されているけど、それを訓練セットとテストセットに分割してBERTにかけて分類器を作るチュートリアルという理解でいいんだろうか？

[misshiki]

“BERTを用いたテキスト分類をテーマとしたモダンで高品質な深層学習用のテンプレート実装を目指し、本実装を公開”

[cartman0]

オライリーの”Natural Language Processing with Transformers“に誘導欲しいな https://amzn.to/3kjWH9B

[isys3571]

bert