gensimの検索結果1 - 2 件 / 2件

• あとで読む

  日本語単語ベクトル"chiVe"をgensimやMagnitudeで使う

  • 4 users
  • zenn.dev/sorami
  • テクノロジー
  • 2020/10/27

  TL;DR chiVe (チャイブ): 日本語単語分散表現 形態素解析器「Sudachi」 と 258億語規模コーパス「NWJC」 Apache-2.0, 商用利用可 gensimやMagnitude形式でもデータ公開 Magnitude: 分散表現を使うPythonライブラリ 「gensim」のシンプルで速い代替ライブラリ 未知語のベクトル作成 HTTP上でのリモートロードやストリーミング from pymagnitude import Magnitude, MagnitudeUtils # ダウンロード # デフォルトのダウンロード先: `~/.magnitude/` vectors = Magnitude(MagnitudeUtils.download_model("chive-1.1-mc90-aunit", remote_path="https://sudachi.s3-ap-n

  • python

  
• あとで読む

  自然言語処理入門 まとめ【Python + Janome + gensim】 - Qiita

  • 3 users
  • qiita.com/kodera123
  • テクノロジー
  • 2020/02/09

  対象 初学者を対象に書いてます。自然言語処理の理解の手助けになれば幸いです 何か間違いあったらご指摘お願いします 勉強会に行ってその内容を自分なりにまとめたのでおかしい部分あるかもです 自然言語処理の基本となる形態素解析から、実務で用いやすいtf-idfやWord2Vecまでの仕組みの説明と実際にサンプルコードを用いたハンズオンを行いました。 少々高校数学の知識が必要ですが、全体的に理解しやすく簡単にハンズオンまで行けたので非常に実用性が高いと思いました。 自然言語概論 機械がどういう風に処理をすれば人間の言葉を理解できるか？的な内容です。 （知っている人も多いと思いますが） 以下キーワード 形態素解析 ベクトル空間法 tf-idf Word2Vec 形態素解析 検索エンジンにも用いられている自然言語処理の手法の一つ ある文章を「意味を持つ最小限の単位（＝単語）」に分解し、文章の内容を判断