A Hierarchical Bayesian Language Model based on Pitman-Yor Processes (HPYLM)
A Hierarchical Bayesian Language Model based on Pitman-Yor Processes (HPYLM) 概要 A Hierarchical Bayesian Language Model based on Pitman-Yor Processes を読んだ A Bayesian Interpretation of Interpolated Kneser-Ney を読んだ C++でHPYLMを実装した はじめに HPYLMはPitan-Yor過程によるスムージングを行うベイズ階層n-gram言語モデルの一種です。 後で記事にしますが可変長ベイズ階層n-gram言語モデルであるVPYLMとは違いHPYLMはn-gramのオーダーを固定します。 スムージングとHPYLM テキストデータが以下の3文とします。 この時、たとえば単語列she will
Better language models and their implications
We’ve trained a large-scale unsupervised language model which generates coherent paragraphs of text, achieves state-of-the-art performance on many language modeling benchmarks, and performs rudimentary reading comprehension, machine translation, question answering, and summarization—all without task-specific training. Our model, called GPT-2 (a successor to GPT), was trained simply to predict the
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
