はてなブックマーク

卒研の過程で，情報検索のキモになるアルゴリズム，tf-idf法を実装してみました． いくつかライブラリのようなものもあるみたいですが，どうせパラメータを弄ったりするのが面倒なんだろうなぁと思って自力でやることにしました． tf-idf法についてはWikipediaの記事を． 与えられた複数の文書から，ある文書を特徴づける単語を取り出すアルゴリズムです． tf-idf法の基本的な考えは， 1．ある文書に頻出する単語は，その文書を特徴付けているので重みを大きくする(この重みをtfと呼ぶ) 2．ある文書だけでなく，他の文書にも頻出している単語は，その文書を特徴づける単語とはいえないので重みを小さくする(この重みをidfと呼ぶ) ということ． 例として， "apple lemon lemon"という文書1と，"apple orange"という文書2があったとします． 上の1について， 文書1におい