エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
言語モデルの準備 - yasuhisa's blog
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
言語モデルの準備 - yasuhisa's blog
自然言語処理特論で使うやつの準備の準備くらいの。 準備として青空文庫のテキストを食わせる。で、何か... 自然言語処理特論で使うやつの準備の準備くらいの。 準備として青空文庫のテキストを食わせる。で、何か入力の文を与えるとUnigram、Bigram、Trigramの言語モデルでのその文が出てくる確率を計算する。確率は非常に小さくなるので、出力するところでは対数を取っている。 ここでは、「首をひねって考えた」というそれっぽい文を入力として与えている。三連鎖であるところのTrigramが一番確率として大きくなっている。正しい文に高い確率を付与している、という意味ではTrigram > Bigram > Unigramな感じであるように思うが、「私は首をひねって考えた」のような分にしてしまうと、Trigramではマイナス無限大に飛んでしまうことがある。いわゆる0頻度問題。性能が高い*1モデルは頑健性がない、ということがなんとなく分かる実験ができた。 /Users/syou6162/cpp% g++