猫でもわかるTabNetPython と Snowflake はズッ友だょ！~ Snowflake の Python 関連機能をふりかえる ~
言語モデル：朝日新聞社メディア研究開発センター 人工知能研究の取り組み
概要 言語モデルとは、人間が話したり書いたりする「言葉」を、単語の出現確率でモデル化したものです。昨今ではニューラルネットワークによる言語モデル (ニューラル言語モデル) が広く使われています。言語モデルには、左から右に順々に単語を予測するCausal Language Model (CLM) と、文中の単語を一部隠して「穴埋めクイズ」を解くMasked Language Model (MLM) があります。大規模な言語データを用いて、CLMやMLMのような方式で学習することで、高品質な言語モデルの構築が可能になります。 最近では、MLMのBERTやCLMのGPT-3などがメディアに取り上げられることも多くなってきました。メディア研究開発センターでは、過去30年にわたって蓄積してきた記事データを用いて言語モデルの構築と、自動要約や文書分類などのタスクへの応用研究を行っています。 各言語モデ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
