Excelで自然言語処理: Excel関数で残差idf値を計算してみる
【残差idfとは】 単語の「重みづけ」の方法のひとつです。 「RIDF」(residual IDF)とも呼ばれます。 ポアソン分布を利用して単語のidf値を推定し、実際のidf値との差を測ることで、一般語よりも内容語に重みが加わるようにします。 【計算式】 残差idf値 = (実際のidf値) - (ポアソン分布により推定されたidf値) (※ポアソン分布に関する説明は割愛します。) 【Excel関数で残差idf値を求めてみる】 本題の「残差idf値をExcel関数を用いて計算する方法」を説明します。 データは「Excel関数でidf値を計算してみる」同様、『情報検索アルゴリズム』(共立出版)で紹介されている「1994年の『毎日新聞』前半46534記事中の単語15種類」を使用しています。 ※画像をクリックすると別ウィンドウで拡大画像が表示されます。 E～G列はポアソン分布に関連
志村建世のブログ: ニコニコ動画で政治討論を見る
先日の日曜日、26日の夜、高校３年生の孫が突然に「８時から長妻昭がニコニコ動画に出演するよ」と知らせてくれました。私はニコニコ動画なるものを全く知らなかったのですが、時間が迫っているので、とりあえず定例の「篤姫」は録画にして、自室のパソコンでニコニコ動画が見られる手続き(無料)を、孫に教えられながら整えました。 孫はその日の４時から、麻生首相が秋葉原で街頭演説している実況を、ニコニコ動画で見ていたので、長妻昭の出演を知ったということでした。ニコニコ動画はストリーミングだから録画はできないということなので、妻と二人、それに孫も加わった３人で、50分ほどの番組を全部見ることになりました。 タイトルは「ニコニコ生放送・政策討論会・政治家と意見を交わそう」で、角谷浩一の司会・進行によるナマ放送でした。テーマは雇用・年金問題でしたが、長妻氏の持論であるＨＡＴ－ＫＺシステムによる官僚のムダ遣い体質
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
