[B! nlp][word2vec] incepのブックマーク

GiNZAのja-ginza-electraモデルでELECTRAベースの単語ベクトルを使用できるようにする - OPTiM TECH BLOG

はじめに R&Dチーム所属の伊藤です。相も変わらず自然言語処理と格闘する毎日を送っています。今回は個人的にとても楽しみにしていたGiNZA v5の新モデルであるja-ginza-electraを使って、前後の文脈を加味した単語ベクトルを求められるようにするまでの手順をまとめました。はじめに GiNZA v5についてセットアップモデルのロード + 文の解析方法行いたいこと Contextualな単語ベクトル ELECTRAモデルの出力と単語ベクトルの計算 spaCyのUser hooksの追加おわりに GiNZA v5について GiNZAはspaCyをベースにしたPythonの日本語向け自然言語処理ライブラリです。形態素解析をはじめとして、固有表現抽出や品詞タグ付け、構文解析などを行うことが可能です。このGiNZAですが、2021年8月26日に最新バージョンであるv5が公開さ

incep 2021/10/21

リンク

word2vecの学習済み日本語モデルを公開します | カメリオ開発者ブログ

こんにちわ。白ヤギコーポレーションでエンジニアをしている谷田です。自然言語処理では、テキストに含まれる単語をベクトルとして表現するというタスクが頻繁に発生します。最近ではそのために、日本語テキストが来たらMeCabに渡してword2vecに投入する、というのが定番パターンのひとつかと思います。word2vecは単語を分散表現と呼ばれる低次のベクトルに変換するモデルですが、単語をベクトルに変換するためには事前に学習を走らせておく必要があります。word2vecモデルの学習にはよくWikipedia日本語版をコーパスとして使ったりするのですが、全記事で学習を走らせると結構時間がかかります。そこで、白ヤギが作った日本語word2vecモデルを公開します! http://public.shiroyagi.s3.amazon aws.com/latest-ja-word2vec-gensim-mo

incep 2018/05/16

赤の他人⇔白い恋人のQiitaポストから．これまで気づかなかった

リンク

Word2Vecの進化形Doc2Vecで文章と文章の類似度を算出する - Qiita

■ doc2vec.pyをカスタマイズ変更点① デフォルトのdoc2vec.pyだと、レスポンスのときのlabelがカスタマイズできなかったので、設定したlabelで結果を呼び出せるように変更してみました。変更点② doc2vec.pyのデフォルトでは、文書の似ているものは？って叩くと、文書も単語も出力されてしまうので、文書の似ている文書だけを出力するメソッドも作成しました。 #!/usr/bin/env python # -*- coding: utf-8 -*- # # Copyright (C) 2013 Radim Rehurek <me@radimrehurek.com> # Licensed under the GNU LGPL v2.1 - http://www.gnu.org/licenses/lgpl.html """ Deep learning via the d

incep 2016/12/01

リンク

分散表現(単語埋め込み) - 岩波データサイエンス

特集記事「単語の意味をコンピュータに教える」(岡崎直観)、「自然言語の意味に対する2つのアプローチ—記号表現と分散表現」(宮尾祐介)、およびコラム「Python で word2vec」(中谷秀洋)で紹介した分散表現(単語埋め込み) についてです。分散表現（あるいは単語埋め込み）とは、単語を高次元の実数ベクトルで表現する技術です。近い意味の単語を近いベクトルに対応させるのが分散表現の基本ですが、最近はベクトルの足し算が意味の足し算に対応する「加法構成性」などを中心に、理論や応用の研究が進んでいます。 word2vec Skip-gram(特集記事参照)を実装した、単語の分散表現を生成するツールです。大きなコーパスからの学習と加法構成性を特徴としています。 GloVe 同じく単語の分散表現を生成するツールです。word2vec より高い性能をうたっています。 gensim Python

incep 2016/09/12

リンク

word2vecリンク集 - Educational NLP blog

word2vecに関する資料へのリンク集です．全く網羅的でないですが，とりあえず．中でやっている計算の資料 Word2vecの並列実行時の学習速度の改善 @chokkanorg 先生のNL研での発表資料．内部の計算をスライドで端的に説明してくれている． http://www.folgertkarsdorp.nl/word2vec-an-introduction/ 英語だが，中でどういう計算をしているのかをPythonのnumpyで表現してくれている． Improving Distributional Similarity with Lessons Learned from Word Embeddings @Bollegala 先生からおすすめされた論文．「なぜc+wにすると良くなるのかについては（この論文）のSec 3.3参照して下さい．」だそうです． Google Code Archi

incep 2015/10/30

リンク

Making sense of word2vec | RARE Technologies

One year ago, Tomáš Mikolov (together with his colleagues at Google) made some ripples by releasing word2vec, an unsupervised algorithm for learning the meaning behind words. In this blog post, I’ll evaluate some extensions that have appeared over the past year, including GloVe and matrix factorization via SVD. In case you missed the buzz, word2vec was widely featured as a member of the “new wave”