BERTopic で文書のクラスタリングを試す - Sansan Tech Blog
こんにちは。研究開発部の青見 (@nersonu) です。 そろそろ花粉症の季節ですね。週1でしか出社しない私は、なんとか引きこもって数ヶ月しのぎたいところです。 さて、今回は BERTopic という OSS について、さっくりとした手法の解説もしつつ、簡単に文書のクラスタリングを試そうと思います。 github.com 目次 目次 BERTopic とは 文書の埋め込み 文書のクラスタリング トピック表現 手法の概要まとめ BERTopic を試してみる インストール モデルのロード クラスタリングの実行 結果の確認 トピックごとの単語の重要度 トピックごとの文書を眺めてみる 次元削減手法・クラスタリング手法の変更 使ってみての所感 BERTopic とは BERTopic はいわゆるトピックモデリングを行うための OSS です。 トピックモデルは、文書集合から「トピック」は何が含まれ
gensimでトピックモデル(LDA)をやってみる | 分析ノート
前回の記事でgensimが登場したので、今度はgensimでトピックモデル(LDA)を実装する方法を紹介します。 ちなみに、僕はLDAをやるときはscikit-learnの方を使うことがほどんどで、gensimのldamodelには慣れていないのでご了承ください。 参考: pythonでトピックモデル(LDA) gensimの中でもword2vecに比べて若干癖があり、使いにくいように感じています。 早速ですがデータの準備からやっていきます。 使うデータは以前作成したライブドアニュースコーパスのテキストです。 以下の前処理を施しました – ユニコード正規化 – 分かち書き – 活用形を原型に戻す – 名詞,動詞,形容詞のみに絞り込む – ひらがなのみで構成された単語を取り除く – アルファベットの小文字統一 (本当はSTOP WORDの辞書を真面目に作るべきなのですが、横着して品詞と文字種
トピックモデル入門：WikipediaをLDAモデル化してみた - GMOインターネットグループ グループ研究開発本部
こんにちは。次世代システム研究室のJK（男）です。 これまではDeep Learning系の話をしてきましたが、今回はちょっと目線を変えてトピックモデルの話をしたいと思います。トピックモデルはちょっと前に話題になったモデルで、取得した結果がわかりやすいというところが魅力的かなーと思います。今回の内容は、(1) トピックモデルと(2) LDAについて簡単に説明したあと、(3) python libraryのgensimを用いてWikipediaの文章についてLDAでモデル化します。(4) 最後に得られた結果を考察します。 1. トピックモデルとは トピックモデルとは、ざっくり言えばある文章をトピックごとの成分に情報圧縮するモデルです。ちゃんと理解したい人は教科書(これとかこれ)を読むことをお薦めします。ただいきなり読むと挫折する可能性があるので、ここでは教科書への架け橋的な説明をしてみます（
Pythonでトピックモデル Word Cloud と LDA - 見習いデータサイエンティストの隠れ家
SNSがコミュニケーションのインフラになりつつあることで、世の中は言葉で溢れています。この膨大な言葉の文章をまとめることで一つ一つの文章からはわからない傾向を新たに獲得することができます。具体的には、文章をカテゴライズして分類することで、どのカテゴリが人気なのかがわかったりします。これは機械学習の分類問題としてよく扱われていますが、重要な前提として「各文章は一つのカテゴリに属す」としています。しかしながら、いくつかのトピックが含まれている文章は多々あります。ファミレスでよく聞く井戸端談義はトピックだらけです。そこで、一つのカテゴリに分類するのではなく、分類に重要な単語（トピック）の重み付けで分類するようにしたのが、トピックモデルです。 今回は、文章の傾向を出現頻度やトピック抽出により理解していきます。そのために、単語の出現頻度をインパクトのある可視化をするWord Cloudと各文章をトピ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
テキスト分類基礎（四）ーtf-idfとlsa特徴量の紹介 - Qiita
テキスト分類基礎（一）ー機械学習、特徴量エンジニアリング - Qiita
