Word2Vec：発明した本人も驚く単語ベクトルの驚異的な力
Word2Vecとは Word2Vecで演算処理する Word2Vecとニューラルネットワーク Word2Vecの仕組み CBoW Skip-gram Word2Vecを応用することができる分野 レコメンド 機械翻訳 Q&A・チャットボット 感情分析 Word2Vecの弱点 Word2Vecの派生系や類似ツール GloVe WordNet Doc2Vec fastText まとめ 参考 世界中のWebサイトの数は2014年に10億件を超えたようだ。そして、Facebookのユーザー数だけでも16億人を超えている。 そして、そのいずれもコンテンツの中身の大部分はテキストから成り立っていることだろう。 ということは、莫大に増大し続けるネット上のデータのほとんどはどこかの国の言葉だってことだ。世界中の人が毎日テキストデータを生成し続けたことはこれまでの歴史上無かったんじゃないだろうか。 もしそん
日本語WikipediaとRのwordVectorsパッケージで“言葉遊び” - データサイエ「ソ」ティストは語る
執筆時のBGM：アイドルネッサンス「夏の決心」 アイドルネッサンス「夏の決心」（MV） まえがき 世の中の「でーたさいえんてぃすと」はとうの昔に通り過ぎてしまったところだろうけど、「言葉の意味」をベクトル空間にマッピングして、様々に操作（計算）できるword2vecで遊んでみた記録。 自然言語処理に新風を巻き起こしたWord2Vecとは何か - 日経BigData （PDF）深層学習の最近の進展 みずほ情報総研技報 Vol.7 No.1 前提 今回は、慣れているR（最近はMicrosoft R Open）のwordVectorsパッケージを使う。また、テキストデータは、昨年夏前ころにダウンロードした、Wikipedia日本語版のダンプXMLを使う。 作業環境 たまたま、自分のPCがそうだ、というだけなのだけど。ただ、メモリは十分に必要。ソフトウェア類は、基本的に最新のものをダウンロードすれ
Word2Vecを用いた研究 : ベクトル空間での操作で、単語から「ジェンダーの2元性」を排除する | POSTD
前回の投稿では、言語のword embeddingモデル（WEM）という新しいモデルの概要を説明し、基本的なWEM操作が簡単に実行できるR言語のパッケージを紹介しました。 この記事はほとんど、デジタルヒューマニティーズのコミュニティの皆さん向けに書きました。本稿では、ratemyprofessors.comの教職員メンバーによる約1,400万のレビューを使ってトレーニングした1つのword2vecモデルについて、詳しく説明します。 ^(1) このモデルの注目点は、ジェンダー（性別）を示す言葉について分析する際に、こうした機械学習のモデルがどこまで役立つのかについて、具体的な研究ができるということです。この記事で、機械学習のモデルのトレーニングには興味のない方の関心も引くことができればうれしいと、私は思っています。コードを多少提示しますが、読み飛ばしてくださって構いません。 では前回の投稿を
[O] Word2Vec の Web API を作れる word-vector-web-api を公開しました
Word2Vec の Web API を作れる word-vector-web-api を公開しました Tweet [日記][NLP] Word2Vec や GloVe などで構築済みな単語ベクトルのモデルを使った Web API を作ることができる word-vector-web-api を公開しました。🎉🍣🍻🍰🍖 word-vector-web-api というのを書いてて、word2vecで構築済みの 日本語 Wikipedia モデル + Docker で試せる様になったので、暇な方は試してみて下さい。https://t.co/NMQTc5py2k— Toshinori Sato (@overlast) 2015, 7月 2 これがあると docker コマンドと1.5 GByte 程度のメモリが使える環境なら、以下の 5 つのコマンドを実行することで(厳密にはもう少し手順
「お父さん - お母さん + チューハイ = ビール！？」word2vecで女性向けQ＆Aサイトを解析してみた - コネヒト開発者ブログ
こんにちは！ CTOの島田(@tatsushim)です。 前回のブログでは「データドリブン」開発手法について触れさせていただきました。 今回はIVS CTO Night & Dayで発表させていただいた内容についてご紹介したいと思います。 IVS CTO Night & Dayは、CTO及び技術責任者のためカンファレンスです。 GREE CTO 藤本さんのKeynoteに始まり、様々な技術責任者の方とディスカッションさせていただく濃い3日間でした。 非常に学びが多かったです。運営の皆様有難う御座いました。 初日にLTをする機会をいただきましたので、word2vecについて発表させていただきました。 こちらの発表内容について解説していきます。 そもそもword2vecとは？ ざっくり言うと、単語同士の関係性をベクトルとして表現し、そのベクトルを利用して類似度の計算や足し引きを可能にしたもので
自然言語処理の最新手法"word2vec"で艦これ加賀さんから乳を引いてみる - あんちべ！
概要 この記事は自然言語処理という分野の最新手法word2vec を利用して誰でも遊べるようにするための手順を説明するものです。 word2vecを利用すると意味の計算が実現できます。 例えば"king"から"man"を引いて"woman"を足すと"queen"が出てきたり、 "東京"から"日本"を引いて"フランス"を足すと"パリ"が出てくるという面白い手法です。 自然言語処理とは人間が日常的に用いる自然言語をコンピュータに処理させ、 翻訳や要約、文字入力支援や質問応答システムを作るなどに活用されている分野です。 自然言語処理と言うと耳慣れない言葉かもしれませんが、 実は検索や推薦などで私たちが日常的に利用しているなじみ深い技術でもあります。 自然言語処理の適用範囲や要素技術は幅広いのですが、 その中でもword2vecの特色は、 冒頭でも挙げたように「意味の計算」が出来ることです。 これ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
word2vecとPMIが等価 - Kazuma Hashimoto (橋本和真)