Qiitaの類似記事を見つける（TF-IDF+コサイン類似度） - Qiita

概要 Qiitaの記事に類似する他の記事を検索するプログラムを作成します。 Qiita APIから記事を取得し、TF-IDFとコサイン類似度を用いて、指定された記事との類似度を計算し、類似している記事を表示します。 ※ 本記事は、個人の趣味の記事です。自然言語処理やデータ分析の素人なので、多少の間違いはご容赦ください。 流れ Qiita APIを使って、検索対象となる記事群を取得します。 MeCabを使って、記事の本文を分かち書きします。その結果は、SQLiteのDBに保存します。 Qiita APIを使って、同様に、類似記事を探したい記事を取得し、MeCabを使って、分かち書きをします。 scikit-learnを利用して、それぞれの記事のTF-IDFとコサイン類似度を計算し、類似度の大きな記事を表示します。 利用しているもの 本記事では、以下の手法やライブラリ、サービスを利用しています