[旧版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」最新版はこちら！：https://www.slideshare.net/yukiarase/jsai2018-101054060 JSAI2018でのチュートリアル資料です。 --- 6月7日（木） 13:50-15:30 I会場（2F ロイヤルガーデンA） ---Read less
![[旧版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」](https://cdn-ak-scissors.b.st-hatena.com/image/square/12caf50016f977ce9af0cfb1be243e077305b1e9/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fjsai2018tutorialslideshare-180606065226-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
きまぐれ日記: キーワード抽出: tf-idf の意味づけ
単語の重み付けの古典的な方法に tf-idf があります。文書中の各単語の tf-idf 値計算し、値でソートすると、その文書に特徴的な単語リストを得ることができます。 http://nais.to/~yto/clog/2005-10-12-1.html tf-idf は、単なるヒューリスティックスだと考えられていましたが、最近言語モデルに基づく情報検索手法がさかんに研究されるようになり、tf*idf の解釈が明らかになってきました。言語モデルに基づく手法は、ヒューリスティックスばりばりの手法と同性能にもかかわらず、文書のランキングに理論的で合理的な説明を与えることができます。 情報検索は、クエリ q に対し、もっとも適合する文書 d_opt を求めるタスクです。つまり、q が与えられたとき、文書 d が出現する確率 p(d|q) の最大化問題と解釈できます。 d_opt = argmax
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
