テキスト分類をBERTopicにおまかせしてみる - Qiita

はじめに 「このテキストデータはどんなトピックで構成されているんだろう？」 これがわかると、把握や整理を行う助けになりますが、これを人的にこなすのは大変です。 機械の力を借りるとしても、テキストの前処理、形態素解析、ベクトル処理などが必要ですし、このケースは「教師なし学習」となりますので結果の解釈も伴います。 おまけに「事前にトピック数を決めて」などといわれると、手をつけようと思う初心者はまずいないのではないか？と感じます。 ただ、自然言語処理におけるテキスト分類は、機械学習や深層学習の進歩に伴い、単語の意味的な関係や文脈をより正確に理解できるようになってきているだけではなく、ほぼテキストデータを与えて実行するだけ等、実行の面も進歩しています。 この記事で扱う BERTopic は、形態素解析はおまかせ、トピック数も自動決定され、トピックモデリングに関する様々な可視化も簡単ということで、手