Livedoorニュースコーパスで主成分分析 - 実践 - - Qiita

この記事について Livedoorニュースコーパスを使って、テキストデータの主成分分析に挑戦します。 前回、分析前の前準備として、テキストを形態素に分解し、表形式にまとめました。 この表を使って、主成分分析を実施していきます。 重みの単語はたくさんあっても大変なので、名詞一般、且つ、記事分類毎の頻出単語Top5のものに絞ることにします。 コードは以下からも参照できます。 https://github.com/torahirod/TextDataPCA まず、各記事分類毎の頻出単語Top5を確認します。 記事分類毎の頻出単語Top5の確認 import pandas as pd import numpy as np # 前準備で1ファイルにまとめたテキストデータを読み込む df = pd.read_csv('c:/temp/livedoor_corpus.csv') # 品詞は名詞一般のみに