書籍レビューを用いた潜在表現の獲得とクラスタリングの実施 - rmizutaの日記

はじめに 書籍に関連する情報を用いてその潜在表現をうまく獲得することで、 以下のようなことができないかなーと考えています。 自身の読書済みの本と照らし合わせて カテゴリごとの網羅率の算出 本を読んだ時に得られる情報量の算出 該当の本の完読可能性の推定 本を読むための事前知識の十分性確認 今回のスコープ 書籍に関する情報の1つであるレビュー情報を用いて潜在表現を作成し、 クラスタリングを行うことでその有効性の確認を行います。 潜在表現の作成は以下の２通りの方法で行いました。 1.TFIDF+LDA 2.Sentence-BERT 実施したこと ブクログの2020年の登録者数の多い1000冊に対しレビューを取得、そこから30件以上レビューがある429冊に絞り30579件のレビューを元に書籍の潜在表現を生成しクラスタリングを行いました。 1.TFIDF+LDA TFIDFで単語の出現頻度を元にし