エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
TF-IDFとコサイン類似度により文書の類似度を判定する - Pythonでいろいろやってみる
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
TF-IDFとコサイン類似度により文書の類似度を判定する - Pythonでいろいろやってみる
文書の類似度を調べます。関連文献の調査などで「自動で似ている文書を探してくれれば楽なのに」と思う... 文書の類似度を調べます。関連文献の調査などで「自動で似ている文書を探してくれれば楽なのに」と思うことがありますが、類似度が求められれば自動化の可能性が出てきます。 TF-IDFは文書中に含まれる単語の重要度を評価する手法の1つであり、情報検索などに利用されています。TF(Term Frequency、単語の出現頻度)はそのまま出現頻度を示し、IDF(Inverse Document Frequency、逆文書頻度)は、単語がある文書だけでに現れるのか、多くの文書に現れるのかといった希少度を現します。 TF-IDFはTFとIDFの積であり、出現頻度が大きく(TF大)、特定の文書において現れる(IDF大)場合に大きくなります。例えば「こと」、「ため」といった様々な文書でよく現れる単語についてはTFは大きいですがIDFは小さくなるためTF-IDFが小さくなります。 また、コサイン類似度はベクトル