文書ベクトルをお手軽に高い精度で作れるSCDVって実際どうなのか日本語コーパスで実験した(EMNLP2017)

SCDVのコードはGithubで公開されている(https://github.com/dheeraj7596/SCDV )ほか、ベンチマークとなるデータセットに対する適用方法がそのままあるので、今回のデータセットを使うにあたっては資産をほとんどそのまま使うことができました。python2だった部分をpython3に対応させるのがちょっと手間でしたが... リポジトリ全体はこちら: fufufukakaka/SCDV python3に対応させて20newsgroupを実行しているのがこちら livedoorニュースコーパスで実験しているのがこちら ノートブック、雑にやってしまったので適宜必要なところはコードを貼っていきながら解説します。 まずはword2vecを学習させる+単語ベクトル空間を可視化 まずはword2vecを学習させていきます。livedoorニュースコーパスはテキストファイル

[taichitary]

お仕事で使えそう

[Nyoho]

SCDV(Sparse Composite Document Vectors)

[aipacommander]

あねさんがテンションあがっていたのでブクマ

[efcl]

> SCDVはどのようにしてそれを実現するのかといいますと、word2vecのベクトル空間をいい感じに修正することがその本質です。

[itouhiro]

「SCDVはword2vecのベクトル空間をいい感じに修正する。まずはword2vecを学習させる。確率重み付け単語ベクトル空間を可視化。文書ベクトルの可視化。テキスト分類の精度。SCDVは手軽に精度向上を見込める」

[chezou]

早くて性能もfasttext並みか。良さそう。GMMをソフトクラスタリング言うのは初めて聞いた

[fufufukakaka]

fasttextベースでも今度試します / 試しました