自然言語処理モデルBERTでニュースから経済指標へのインパクトを予想してみる - GMOインターネットグループ グループ研究開発本部こんにちは。次世代システム研究室のT.I.です。 今回は近年、発展の著しい機械学習の分野として、自然言語処理について簡単に紹介し、鍵とな技術や最近の潮流についても手短にはありますが触れたいと思います。 自然言語処理とは？ 文章を他の言語に翻訳したり、文章を生成したり、文章を読んで質問に答えるなど、自然言語処理のタスクは多岐に渡ります。 機械は言葉の意味をどう学習するか？ 文章を機械学習モデルに入力するためには、文章を単語に分割し、それぞれに何らかのラベル割り振って入力します。しかし、これだけでは無味乾燥なラベルに過ぎず、文脈のなかで単語の持つ意味という情報を適切に処理することが必用となります．単語の意味というものは、どのようにして抽出すればよいのでしょうか？ひとの手で、同義語や反語などの辞書を作ることにはコストや曖昧さが残ります。 近年ではインターネットの発展により利用可能となった膨大なテ
