スタンフォード大の研究者、AIが子どもと同じ要領で言語を習得していることを発見！ | Techable(テッカブル)精度向上が目覚ましい自然言語処理モデルだが、文脈から単語の意味を判断するのはあまり得意ではない。ただ、Googleによる自然言語処理モデルBERTに関しては、子どもがするように言語を習得し、文法まで理解するようだ。 スタンフォード大学の研究者は、BERTに穴埋め問題を大量に解かせることで、言語の構造を理解することを発見した。 文脈によって異なる単語の意味を正しく解釈研究者は、モデルにラベル付けしたデータセットで文法構造を教え込むのではなく、子どもに単語穴埋めゲームを解いてもらう要領で虫食い課題を与えた。 研究者は、欠落している単語の予測精度を向上させる際に、モデルが単に文章中の近接する単語を関連付けていると想定していたが、実際は、主語、述語、目的語……といった文法まで学習していることを発見。これにより、例えば「彼女」が誰のことを指しているかがわかり、何をしているかの推測がより正確になる。
