文章間の類似度を測定する方法まとめ - Qiita

はじめに 先日、文章間の類似度を測定したくなりました。サクッとできると思っていたのですが、なかなか思うような精度が出なくて苦労しました。 調査の過程で類似度を測定する方法は色々とあることを学んだのでまとめておきます。 精度に関しての言及は今回私が試した文章（=チャットのような短文）を対象としています。 文章間の類似度測定の流れ 文章間の類似度を測定するときはまず文章分散表現を取得します。文章分散表現を取得する方法は色々とあります。 その後、取得した分散表現同士を比較することで文章間の類似度を測定します。分散表現同士の比較方法はコサイン類似度を使うのが一般的です。 そのためこの記事では、色々な文章分散表現の取得方法を紹介します。 文章分散表現の取得方法 単語分散表現を基に文章分散表現を算出 単語分散表現を取得した後、取得した単語分散表現から文章分散表現を算出します。 それぞれについて色々なや

[peketamin]

“先日、文章間の類似度を測定したくなりました。サクッとできると思っていたのですが、なかなか思うような精度が出なくて苦労しました。”