[B! word2vec] manabouのブックマーク

word2vec（Skip-Gram Model）の仕組みを恐らく日本一簡潔にまとめてみたつもり - これで無理なら諦めて！世界一やさしいデータ分析教室

久しぶりの記事更新です。今回はかねてより書いてみたかったword2vecについて。 word2vecはとても面白い考え方なのですが、個人的には仕組みがちょっと捉えづらく、理解するのに結構時間がかかりました。そこで今回は、過去の自分を救えるように、word2vecをできるだけ簡潔に、そして直観的に理解できるように解説していきます。なお、word2vecについては以下書籍でよくまとまっているので、よろしければ是非！ Pythonと実データで遊んで学ぶデータ分析講座作者: 梅津雄一,中野貴広出版社/メーカー: シーアンドアール研究所発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る ※追記※ スマホのAMPだと、行列や数式がうまく表示されない可能性がありますので、こちらのリンクかPCから購読頂けますと幸いです。 word2vecを使うと何ができる

manabou 2019/06/24

リンク

日本語大規模SNS+Webコーパスによる単語分散表現モデルの公開 : hottoSNS-w2vの配布｜#ホットリンク

最終更新日：2023年6月12日 R&D部の榊です。当社のR&D部では，研究開発上で利用する様々なリソースを部内で共有しています。今回、そのうちの一つである単語分散表現モデルを社外の方にも利用可能な形で配布することにしました。なので、それについてご説明したいと思います。なお、最近の日本の自然言語処理界隈では、文分散表現モデルであるBERTの日本語を含む多言語モデルが公開になったばかりなので、日本語の単語分散表現モデルの配布は大変今更感があるなあ・・・と思ったりもしています。ですが、日本語を対象とした文・単語の分散表現共に、配布されているのはWikipediaを学習コーパスとしたものが殆どです。なので、WikipediaではカバーしきれないSNSやWeb上の文書を学習コーパスとした分散表現のモデルを公開することは一定の価値があると考えています。本言語資源に関しては、2019年6

manabou 2019/03/04

リンク

文書ベクトルをお手軽に高い精度で作れるSCDVって実際どうなのか日本語コーパスで実験した(EMNLP2017)

前置きというか概要今年のEM NLP2017で提案されていたSCDV(Sparse Composite Document Vectors)について、日本語のコーパス(livedoor ニュースコーパス)で検証しました。 20171114追記 fasttextベースのSCDVによるテキスト分類精度を追記しました。 SCDVのモチベーション (https://dheeraj7596.github.io/SDV/) いい感じのランディングページまで用意していてすげえなって思いました。論文は当然のようにarxivで公開されています。大正義。 https://arxiv.org/pdf/1612.06778.pdf HTMLで読みたい方はこちら。https://www.arxiv-vanity.com/papers/1612.06778/ これを読んでいる皆様に、「どうにかして文章のベクトルが欲しい

manabou 2017/11/13

リンク

Char2Vec で文字の特性について調べてみた - mixi engineer blog

ミクシィ Vantage スタジオのAI・ロボットチームで自然言語処理関連の研究開発に関わっている原（@toohsk）です． Vantage スタジオでは人の感情に寄り添った会話ができるAIの研究開発を通じて，新しいコミュニケーションサービスを生み出そうとしています．今回， Char2Vec を用いた，文字毎の特性について実験を行いましたので，紹介したいと思います． Word2Vec とは Word2Vec は単語をベクトル表現に変換する方法です．これまでは自然言語処理の分野では単語を扱う場合， one-hot の形式で文章内の単語を表現することが多かったです．しかし，自然言語を機械学習で扱う場合や論文では，最近では必ずといっていいほど Embedding された状態，すなわち単語をベクトルに変換してから機械学習のアルゴリズムに与えています．ではなぜ one-hot の形式ではなく

manabou 2017/10/12

リンク

word2vec を超えた異空間 - 武蔵野日記

今日は第9回最先端 NLP 勉強会参加のためにリクルート MTL カフェへ。この勉強会は毎年この時期に開催され、最前線で活躍する人たちがみんなが読みたいと思っている論文を紹介する、という趣旨で開催されている勉強会で、読む前に論文の投票があったりなんだりと、独特のプロセスがある。自分はというと今年は以下の論文を紹介。 Ding et al. Visualizing and Understanding Neural Machine Translation. ACL 2017. 詳しくは紹介スライドを見てもらえるといいのだが、ニューラル機械翻訳を可視化したいというモチベーションで、ニューラル機械翻訳ではデコード時のアテンションを見ることで少しは見当が付くのだが、それでは全然十分ではないのでもっと細かく見たい、という話（アテンションはアライメントとも違うので、解釈しにくい）。あとで [twi

manabou 2017/10/04

word2vec
nlp

リンク

Word2Vecのパラメータを調べて見る - Qiita

Initialize the model from an iterable of `sentences`. Each sentence is a list of words (unicode strings) that will be used for training. The `sentences` iterable can be simply a list, but for larger corpora, consider an iterable that streams the sentences directly from disk/network. See :class:`BrownCorpus`, :class:`Text8Corpus` or :class:`LineSentence` in this module for such examples. If you don

manabou 2017/03/26

word2vec

リンク

機械学習初心者向け、Word2VecとDoc2Vecでディープラーニングやってみた - paiza times

秋山です。機械学習が人気ですが、「Word2Vec」「Doc2Vec」という、文章などを分析するニューラルネットワークモデルを知っていますか？すごーく簡単に言うと、「Word2Vec」は単語の類似度のベクトル、「Doc2Vec」は文章の類似度のベクトルを表現します。結構前に話題になったので既に知っている人も多いかもしれませんが、今回はpaizaのスキルチェック問題に提出された一部のコードを対象に、「Word2Vec」と「Doc2Vec」でどんなことができるかやってみたいと思います。（※スキルチェック問題や回答の内容は判別できないように処理しています） ■Word2Vecについてざっくり言うと、ある単語の周辺に別の単語が出現する確率……みたいなものを見てくれます。ニューラルネットワークを使って、類似度を求めています。Word2Vecは隠れ層1、出力層1の、2層のニューラルネットワーク

manabou 2017/03/17

リンク

文章をベクトル化して類似文章の検索 - Qiita

Doc2Vecで類似文章を検索してみたので、実装を紹介します。 Doc2Vecとはコンピュータが自然言語を処理するためには、まず人間の言葉をコンピュータで扱える値にする必要があります。単語の意味をベクトル化する手法としてWord2Vecが存在します。詳しくはリンク先がとてもわかりやすいのですが、ざっくり言うと前後n単語のリストでその単語を表現します。こうすることで、例えば「犬」と「猫」は同じような文脈で使われるため、似た「意味」であると考えることができます。 Doc2VecはWord2Vecを応用し、文章をベクトル化するものです。実装サンプル今回Doc2Vecを用いて実現するのは、以下の2つの機能です。単語で文章を検索類似文章の検索サンプルとして、青空文庫の文章を使用しました。なお、この記事で使用するコードはGitHubで公開しています。 (学習に使用した文章もzipに

manabou 2017/03/01

リンク

【転職会議】クチコミをword2vecで自然言語処理して会社を分類してみる - Qiita

はじめに LivesenseAdventCalendar 2016 の20日目を担当する @naotaka1128 です。現在、転職会議という転職クチコミサービスのデータアナリストを担当しております。転職会議は会社のクチコミが数百万件集まっている日本最大級の転職クチコミサービスです。現状はクチコミや評点を表示しているだけなのですが、今後はクチコミを自然言語処理などで分析して今までは手に入らなかったような有益な情報を世の中に提供していきたいと思っております。今回はその取っ掛かりとして word2vec および doc2vec という自然言語処理の技術を用いてクチコミを分析し、会社の分類などを行ってみようと思います。使用する自然言語処理技術昨今、word2vecという自然言語処理の技術が話題です。ご存じの方も多いかと思いますが、大量の文章をもちいて単語をベクトル表現で数値化し、以下の

manabou 2017/01/24

リンク

word2vecとLSTMを使って文章の忍術属性印象[火,水,木,金,土]を推定してみた - Qiita

ゼミで新しいメンバーが入ってくる度に、なんでword2vecを使うのか、なんでLSTMで推定するといいのか、といった話を何度もしている気がしたので、応用例と共に文章として認めることにしました。なので基本的に機械学習に疎い人向けにも書いてますが、敢えて少し踏み込んだ話もしています。本記事を読むにあたって、ニューラルネットをなんとなくでも知っていれば、踏み込んだ話まで理解できるかもしれません。また、使ったライブラリが昔に自分が勉強がてら作成したものなので、具体的なコードの扱いなどについてはこの記事で触れないことにします。先日VRハッカソンで作成したゲームの一部の機能としてこの推定器を作ってました。そのゲームでは、ユーザに任意のフレーズを忍術として発してもらい、そのフレーズの属性値を推定してそれに合わせた忍術を発生させて、襲い掛かってくる忍者達を一掃する、という内容のものです。処理の

manabou 2016/06/23

リンク

examples\word2vecを読む - chainerで自然言語処理できるかマン

examples\word2vecに用意してあるコードを読んでいきたいと思います。 word2vecとはいろんな意味で使われているような気がしますが、正確には word2vec - Tool for computing continuous distributed representations of words. - Google Project Hosting のプログラムのことを指すと思います。 Mikolovら(2013)によって、単語の分散表現(複数の計算要素で表現するもの。ベクトルとか)を高速に得る手法が提案、ツールが公開され、得られた分散表現で単語の足し算・引き算ができたり、単語の類似性があったりで話題になっていました。岡崎先生の分散表現に関する資料：単語の分散表現と構成性の計算モデルの発展 word2vecでは、ネットワークの形として「Continuous Bag of

$examples\word2vecを読む - chainerで自然言語処理できるかマン$

manabou 2016/01/04

リンク

Distributed word2vec on top of Pistachio | Yahoo Engineering

manabou 2015/05/14

リンク

word2vec可視化するやつをipython notebookから見れるようにした - once upon a time,

オライリーから出てる、word2vec 本の付録についてくる id:nishiohirokazu さんが書いた可視化のコードがあります。 word2vecのword-analogyを可視化した - 西尾泰和のはてなダイアリーこれを、ipython notebookから扱えるようにしました。 Visualizer word2vec data for ipython notebook 今回ipython notebookから使えるようにしたのは、厳密には上記のコードではなくて、こちらのコードなのですが、ある単語の周辺にある単語をPCAで2次元に縮退させて可視化してくれます。大きくする ipython notebookに関しての説明は、過去の記事を参照してください。 Docker上にnbviewerを立ててiruby+Nyaplotで描いたグラフを共有できるようにしてみた - once upo

manabou 2015/02/18

リンク

word2vec for Lucene ご紹介 | 関口宏司のLuceneブログ

一定期間更新がないため広告を表示しています

manabou 2014/12/04

リンク

自然言語処理に新風を巻き起こしたWord2Vecとは何か - 日経BigData

言語データの分析と応用のために自然言語処理と呼ばれる分野で長年研究が行われて来た。同分野が昨年から大きく沸き立っている。米グーグルの研究者であるトマス・ミコロフ氏らが提案した手法「Word2Vec」が、いくつかの問題について従来のアルゴリズムよりも飛躍的な精度向上を可能にしたのだ。この手法によって得られるベクトル空間には、今まで定量的に捉えることの難しかった言葉の「意味」を極めて直接的に表現しているかのような性質が認められている。今年9月、当社がスポンサー参加した自然言語処理系の研究発表会「NLP若手の会第9回シンポジウム」でも、多くの研究がWord2Vecに関連したテーマについて取り上げていた。今後、意味解析、文書分類、機械翻訳など様々な分野でWord2Vecの応用が期待されている。「意味ベクトル」の驚異的な性質 Word2Vecは、その名前の表す通り、単語をベクトル化して表現する