TopicModelの最終形態？ Structured Topic Modelのご紹介 - Retrieva TECH BLOG
こんにちは。レトリバの飯田です。カスタマーサクセス部 研究チームに所属しており、論文調査やそのアルゴリズムを実行するスクリプトの実装などを行なっています。 今回は、Bag of Words(BoW)表現に於いて、これがTopicModelの最終形態ではないか？と私が思っているStructured Topic Modelの紹介と再現実装をpythonで行なったので、その紹介をします。 https://github.com/retrieva/python_stm Structured Topic Modelとは Correlated Topic Model(CTM) Sparse Additive Generative Model(SAGE) STMの更なる特徴 文書ートピックの分布の推定に対し文書属性情報を考慮できる 積分消去による高速化 STMの使い方 Covariate(Y)の使い方 P
こんにちは！ sodaの古橋です。 巷ではChatGPTが言語モデル界隈を席捲しており、多くの人が最新対話型AIの進化を実感されていますね。 私も業務でちょっとわからないことや、これってどうやるんだっけ？と思うことがあると、ググるのではなくChatGPT先生に聞いてみるか―となる場面が増えてきました。 サードパーティ製品も急速に増えると同時に規制の話も盛んに出ており、色んな意味で今一番ホットな分野ですので、今後の動向も要注目ですね。 さて、今回はChatGPTのように対話こそ出来ないものの、ビジネスの場ではちょっと使えるかも？というモデル、BERTopicなるものを紹介したいと思います。 BERTとTopicModel両方に馴染みのある方だと、その二つが融合されて何かとんでもない言語モデルが出来上がったのではと期待しそうな名前ですが、始めに概略を書いておくと「BERTで良さげな文章ベクトル
エモトです．さいきんバーフバリというインド映画にどハマりしました．インド映画特有の歌とダンスに加え，ストーリーやアクションシーンの完成度もすごい．出演陣も敵味方含めて全員かっこいい．敵役の中の人が私より年下だったことが一番の驚きでした．まだ見てない方は是非．オームシャンティオームやクリッシュもおすすめ． Topic Modelとは 簡単に説明すると，文書は複数の潜在的なトピックから確率的に生成されると仮定したモデルです．下記に図例を示しました．この例では，ニュース記事は動物トピックとイベントトピックから文章が生成されて，特に動物トピックの影響が大きいのを示してます．なお，xxトピックと書いてますが，実際の計算ではトピックのラベル付けまで行われずに，計算終了後に別途でラベル付けを行います． さて今回，そのTopic Modelを実装してみました．対象データは livedoor ニュースコーパ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BERTとTopicModelの融合「BERTopic」とは
TopicModelを使って，livedoorニュースコーパスを解析してみた