[B! 自然言語処理] s-woolのブックマーク

自然言語処理×ジャーナリズムな研究まとめ ~ EMNLP2017 Workshopより ~ - Gunosyデータ分析ブログ

いつものやつはじめに各研究の分類ニュースの品質に関する研究 Predicting News Values from Headline Text and Emotion Incongruent Headline: Yet Another Way to Mislead Your Readers Deception Detection in News Reports in the Russian Language Fake News Detection using Stacked Ensem ble of Classidiers From Clickbait to Fake News Detection: An Aproach based Detecting the Stance of Headlines to Articles ニュースとユーザとの関係に関する研究 Predicting U

s-wool 2017/12/19

力作だ

リンク

Polynomial Semantic Indexing - tsubosakaの日記

NIPS 2009で発表された論文"Polynomial Semantic Indexing" [1]を読んだ。これは低ランク近似を用いた教師ありの情報検索に関する手法である。情報検索について与えられたクエリに関して適当な重みづけをおこなって順位づけして、適切な文章を返却するという問題は古くから研究されている。オーソドックスな方法としては文章をbag-of-wordsで表して各単語の重みをtf-idfで正規化し、クエリに関しても同様な処理を行いコサイン類似度などの距離尺度を使って最も近い何件かを返すというものがある。この方法の欠点としてはクエリの単語を含まない文章はヒットしないという問題がある。これは各単語が独立であるという仮定を行っているためであり、明らかに誤っている仮定である。もう一つの方法としては文章-単語行列が低次元の特徴量によって近似する方法である。代表的な方法としてLS

s-wool 2009/12/15

低ランク近似を用いた教師ありの情報検索に関する手法

リンク

ChaIME: Statistical Input Method Editor

ChaIME: 大規模コーパスを用いた統計的仮名漢字変換トップに戻る統計的仮名漢字変換統計的仮名漢字変換では、与えられた仮名文字列の入力yに対して変換候補 xを条件付き確率P(x|y)の降順に提示します。仮名文字列が来たときに仮名漢字交じり文になる確率です。この確率値が高い順に変換結果が並んでいてくれればいいわけです。言い換えると、確率値最大のものがもっとも尤もらしい変換候補となり、尤もらしさ順に確率値が並んでいることが統計的仮名漢字変換の基本原理となります。さて、直接P(x|y)を推定する方法があればそのまま仮名漢字変換に用いることができるのですが、一般にこの確率値を直接推定することは難しいため、近似を用いて推定することになります。この定式化は統計的機械翻訳や音声認識と同様で、ベイズの定理を用いることによってP(x|y)はP(y|x)とP(x)の積として推定するこ

s-wool 2009/04/23

リンク