エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
論文紹介「階層 Pitman-Yor 過程に基づく可変長 n-gram 言語モデル」 - 西尾泰和のはてなダイアリー
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
論文紹介「階層 Pitman-Yor 過程に基づく可変長 n-gram 言語モデル」 - 西尾泰和のはてなダイアリー
既存の方法だと8-gramの言語モデルとか現実的に無理なんだけども、この方法だと可変長だから必要なとこ... 既存の方法だと8-gramの言語モデルとか現実的に無理なんだけども、この方法だと可変長だから必要なところだけ長いgramにできるよ、という論文。 Pitman-Yor過程と等価な中華料理店過程でツリーを作る。she willの後にsingが来たとするとルートノードからwillをたどってsheをたどったところにsingに対応する客を追加する。上位のノードにも代理客を追加する。 既存手法(HPYLM)だと、客を追加する高さが固定。しかし決まった高さに追加するのではなく「客がルートから進んできて、テーブルを通過する確率」を各ノードごとに考える。この確率qiは未知、どうやって推定するか? qiの事前分布がベータ分布であるとし、まず配置する。そこからランダムな単語wtを取り除いて、残りの客の分布からベータ分布のパラメータを更新、そのベータ分布からサンプリングして新しい深さに客を追加。この「取って、入