言語モデル：朝日新聞社メディア研究開発センター 人工知能研究の取り組み

概要 言語モデルとは、人間が話したり書いたりする「言葉」を、単語の出現確率でモデル化したものです。昨今ではニューラルネットワークによる言語モデル (ニューラル言語モデル) が広く使われています。言語モデルには、左から右に順々に単語を予測するCausal Language Model (CLM) と、文中の単語を一部隠して「穴埋めクイズ」を解くMasked Language Model (MLM) があります。大規模な言語データを用いて、CLMやMLMのような方式で学習することで、高品質な言語モデルの構築が可能になります。 最近では、MLMのBERTやCLMのGPT-3などがメディアに取り上げられることも多くなってきました。メディア研究開発センターでは、過去30年にわたって蓄積してきた記事データを用いて言語モデルの構築と、自動要約や文書分類などのタスクへの応用研究を行っています。 各言語モデ

[privates]

捏造記事をラーニングしたらどうなるか？補正が効くというのは人間の感覚。実際に補正するなら、その機能は何？補正されないなら、売れない新聞になる。ならないようにしたい、人の思惑は入る？難しいな。

[misshiki]

“朝日新聞の膨大な日本語記事で学習された言語モデル(RoBERTa, GPT-2)”

[knok]

GPT-2を朝日新聞をコーパスにして学習したあとWikipediaでfine tuning