この度、『誰でも使える統計オープンデータ』の開講にあたり、入門編となる「社会人のためのデータサイエンス入門」を特別開講しております。 本講座では、データ分析の基本的な知識を学ぶことができます。『誰でも使える統計オープンデータ』の受講前に学習していただくことで、より理解が深まるかと思います。この機会に、ぜひご受講ください。 ※『《特別開講》社会人のためのデータサイエンス入門』は、修了証の発行はございません。 講座内容 オープンデータである統計データを活用したデータサイエンスをわかりやすく解説します。 今、様々な意思決定の場で、統計的な思考力によって様々な課題を解決していく能力、すなわち“データサイエンス”力の高い人材が求められている。本コースでは“データサイエンス”力の向上を目指し、事例なども踏まえ、e-Stat（政府統計の総合窓口）、統計GIS（jSTAT MAP）、API機能等を使い、統

日本語のWikipediaの全文データを使ってWord2vecを訓練する方法についてまとめます。 Udemy【TensorFlow・Keras・Python3で学ぶ】時系列データ処理入門（RNN/LSTM, Word2Vec)の内容です。 環境 Ubuntu18.04 データをダウンロード https://dumps.wikimedia.org/jawiki/latest/ からjawiki-latest-pages-articles.xml.bz2をダウンロードし、解凍する。 wp2txtを使って、xmlからテキストファイルを生成する wp2txtはrubyのgemなので、rubyがインストールされているかを確認する。

注: 現在更新途中でwvのとこまでしか書いてませんが、一応これだけでも十分だと思います Word2Vecの記事をかいてる人に伝えたい、最新のドキュメントを読んでほしい... あれ、ドキュメントに書かれている文おかしくない...？このドキュメントは正確なのか...？ちょっと調べてみよ... ↓ 最近書かれたブログなのにDocumentに書かれてないことやってるやん...何を信じればいいんだ...ていうかまともにドキュメント読んでたらおかしいと思うはずでは...？みんな1次情報漁ってないんだろうなあ… と苛ついたので、ドキュメントの方を信じてWord2Vecのドキュメントを自分用にまとめました。 ちなみに使わなさそうなメソッドは省いてます バージョン 一応この記事に書かれていることも数年立ったら変わっているかもしれないので。 Python 3.7.3 gensim==3.8.1 用途的な感じで

こんにちは、Mr.Moです。 最近Word2Vecに触れる機会があったので備忘録の意味も込めて自分なりにまとめておこうと思います。 Word2Vecとは 簡単にまとめると下記です。 > Word2vecでは、2層のニューラルネットワーク構造を用いて大量のテキストデータのコーパスに対し単語の分散表現を生成して各単語の特徴を数百次元のベクトル空間で表現する。このベクトル空間ではコーパスにおける共通のコンテキストを共有している単語を類似しているとして、ベクトル空間上で近い位置になるよう各単語にベクトルの割り当てを行う。 上記により何が嬉しいかという所ですが、単語の意味を捉えられているかのような結果が得られる点です。例えば有名な話ですが下記のような演算を行うこともできてしまいます。 King - Man + Woman = Queen 上記図が少し分かりやすいのですが、左図のように単語の意味的な情

Motivation ・word2vecは大量のテキストを与えるだけで、単語の意味をイイ感じに表現できるベクトルが得られる ・そのイイ感じのベクトルを特徴量に使えば、様々なタスクにおいて精度向上が期待できる ・・情報推薦の精度を上げたい ・・FXの予測タスクに特徴量として使って精度上げるなど ・・可視化 ・（deep learningの一端に触れる） スタンス ・word2vecの理解はともかく、それを使って面白いことをやったり、タスクの精度を上げたりしたい Agenda | Plan ・word2vecによって得られるベクトルがどのくらいイイかを体感する （今日はこれ） ・word2vecによって得られるベクトルを情報推薦タスクに応用して、普通のベクトルの結果と比較する ・word2vecによって得られるベクトルを為替予測タスクに応用して、普通のベクトルの結果と比較する ・word2ve

単語の意味をベクトルで表現する手法であるword2vec。検索するといろんな方の解説が見つかります。その解説とソースコードを見比べながら、自分なりに勉強してみました。 今回はword2vecのC#実装であるWord2Vec.Netのソースで勉強しました。ロジックは元々のC言語による実装とほとんど同じなので、このソースで勉強しても問題ありません。また、この方がVisualStudioのデバッガが使えるので追いやすいです。 word2vecには学習アルゴリズムとして「C-BOW」と「Skip-gram」の２種類の手法が紹介されていますが、今回は「Skip-gram」について勉強しました。計算量を抑えるやり方としては「階層的ソフトマックス」と「Negative Sampling」の２種類がword2vecのプログラム中に実装されていますが、今回は「Negative Sampling」を勉強しまし

「トピックモデルを用いた併売の分析」ではトピックモデルによる併売の分析を試しましたが、今回は gensim の Word2Vec で試してみました。 ソースは http://github.com/fits/try_samples/tree/master/blog/20180617/ はじめに データセット これまで は適当に作ったデータセットを使っていましたが、今回は R の Groceries データセット ※ をスペース区切りのテキストファイル（groceries.txt）にして使います。（商品名にスペースを含む場合は代わりに _ を使っています） ※ ある食料雑貨店における 30日間の POS データ groceries.txt citrus_fruit semi-finished_bread margarine ready_soups tropical_fruit yogurt c

都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト はじめに word2vecを用いた分類は以前からやってみたいと思っていたのですが、関心を持てるテキストデータがなかったのでなかなか手を出していませんでした。 ある時、ふとしたことから某グルメ系口コミサイトから蒙古タンメン中本の口コミと評価点を抽出して、その評価をword2vecでやってみるのは面白いだろうと思いついたので、さっそくやってみます。 こういう時にはじめて、データ分析だけでなくクローリング屋としても業務をやっていて良かったなと思うところですね。 コードは以前

はじめに 今や自然言語処理の定番手法となっているWord2Vecについて勉強したことをまとめました。 そのアルゴリズムの概要を整理しライブラリを用いてモデルを作成しています。 参考 Word2Vecを理解するに当たって下記を参考にさせていただきました。 ゼロから作るDeep Learning ❷ ―自然言語処理編 斎藤 康毅 (著) 絵で理解するWord2vecの仕組み Efficient Estimation of Word Representations in Vector Space (元論文) gensimのAPIリファレンス Word2Vec概要 下記ではWord2Vecの前提となっている自然言語処理の考え方について記載しています。 単語の分散表現 単語を固定長のベクトルで表現することを「単語の分散表現」と呼びます。単語をベクトルで表現することができれば単語の意味を定量的に把握す

Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up

はじめに 最近、単語の分散表現を学び、使ったので、その際に得た知識をまとめておく。 この記事では、MeCab、gensimを用いて、夏目漱石の『こころ』に登場する単語の類似度を計算する。 GitHubにこの記事で使用する全てのコードをアップしてある。 https://github.com/hsoccer/my_word2vec 環境 OS X El Capitan Python3系 MeCabのインストール 以下のページ等を参考にインストールする。 追加の辞書であるmecab-ipadic-neologdもインストールしておく。 https://qiita.com/taroc/items/b9afd914432da08dafc8 MeCabの辞書を強化する デフォルトの辞書では弱いので、Wikipediaの見出語を全て辞書に加えておく。 user.dicという名前で保存しておく。 以下のペ

Word2Vecとは Word2Vecで演算処理する Word2Vecとニューラルネットワーク Word2Vecの仕組み CBoW Skip-gram Word2Vecを応用することができる分野 レコメンド 機械翻訳 Q&A・チャットボット 感情分析 Word2Vecの弱点 Word2Vecの派生系や類似ツール GloVe WordNet Doc2Vec fastText まとめ 参考 世界中のWebサイトの数は2014年に10億件を超えたようだ。そして、Facebookのユーザー数だけでも16億人を超えている。 そして、そのいずれもコンテンツの中身の大部分はテキストから成り立っていることだろう。 ということは、莫大に増大し続けるネット上のデータのほとんどはどこかの国の言葉だってことだ。世界中の人が毎日テキストデータを生成し続けたことはこれまでの歴史上無かったんじゃないだろうか。 もしそん

類似したコンテンツのタイトルは、女性アーティストだらけとなっている。浜崎あゆみは日本のレディー・ガガらしい。 Bag-of-wordsの欠点とDoc2Vecのメリット Bag-of-wordsは文書内の単語の出現回数をベクトルの要素とした分散表現だ。例えば、 { I, have, a, pen, I, have, an, apple } という単語区切りの文書があるとしよう。この文書をBag-of-wordsでベクトル化する。ベクトルの並び順をI, have, a, pen, an, appleとすると、 [2, 2, 1, 1, 1, 1] と表現することになる。単に出現頻度を計算しているだけなので、シンプルで計算効率よく分散表現を得ることが出来る。 では、Bag-of-wordsの何が問題なのだろうか？Bag-of-wordsでは、単語の出現順序が考慮されず、同様の単語が使われていれば

「フランス」－「パリ」＋「東京」＝「日本」 こんな単語同士の演算ができる、と話題になったのがGoogleが発表したWord2Vecです。これは端的に言えば単語を数値で表現する技術で、これにより単語同士の「近さ」を測ったり、上記のような演算をすることが可能になります。この、単語を数値表現にしたものを分散表現と呼びます。 今回紹介するFacebookの発表したfastTextはこのWord2Vecの延長線上にあるもので、より精度が高い表現を、高速に学習できます。本稿ではその仕組みと日本語文書に対しての適用方法について解説していきます。 fastTextの仕組み fastTextでは、Word2Vecとその類型のモデルでそれまで考慮されていなかった、「活用形」をまとめられるようなモデルになっています。具体的には、goとgoes、そしてgoing、これらは全て「go」ですが、字面的にはすべて異なる

はじめに 既に様々な場所で取り上げられているWord2Vecですが、改めてPythonを使ったWord2Vecの使い方を紹介します。 使い方と言っても特に難しい事はなく、コーパス（テキストや発話を大規模に集めてデータベース化した言語資料）からモデルを作成し、作成したモデルを様々な事例に活用するだけです。 Word2Vecとは？ 名前の通り、単語をベクトル化する手法のことです。そして、このベクトル化したものを単語の分散表現と呼びます。 2013年にGoogleが開発＆公開したもので、その仕組みについては書籍やネットなどで数多く発表されています。 最近では、朝日新聞社が自社の保有記事をコーパスとしたモデルを公開する1など、自然言語処理の分野では欠かせない技術の一つになっています。 基本的には、同じような意味や使われ方をする単語は同じような文脈の中に登場するという考えのもと、単語をベクトル化して

こんにちわ。白ヤギコーポレーションでエンジニアをしている谷田です。 自然言語処理では、テキストに含まれる単語をベクトルとして表現するというタスクが頻繁に発生します。最近ではそのために、日本語テキストが来たらMeCabに渡してword2vecに投入する、というのが定番パターンのひとつかと思います。word2vecは単語を分散表現と呼ばれる低次のベクトルに変換するモデルですが、単語をベクトルに変換するためには事前に学習を走らせておく必要があります。word2vecモデルの学習にはよくWikipedia日本語版をコーパスとして使ったりするのですが、全記事で学習を走らせると結構時間がかかります。 そこで、白ヤギが作った日本語word2vecモデルを公開します! http://public.shiroyagi.s3.amazonaws.com/latest-ja-word2vec-gensim-mo

お知らせ (2018/09/24) 最新版の訓練済みベクトルと訓練用のスクリプトは GitHub で公開しています。 概要 「日本語 Wikipedia エンティティベクトル」は、日本語版 Wikipedia の本文全文から学習した、単語、および Wikipedia で記事となっているエンティティの分散表現ベクトルです。Wikipedia の記事本文の抽出には WikiExtractor を、単語分割には MeCab を、単語ベクトルの学習には word2vec をそれぞれ用いています。 ダウンロード 20170201.tar.bz2 (2017年2月1日版, 1.3GB, 解凍後 2.6GB) 20161101.tar.bz2 (2016年11月1日版, 1.3GB, 解凍後 2.6GB) バイナリファイル (entity_vector.model.bin) とテキストファイル (ent

久しぶりの記事更新です。 今回はかねてより書いてみたかったword2vecについて。 word2vecはとても面白い考え方なのですが、個人的には仕組みがちょっと捉えづらく、理解するのに結構時間がかかりました。 そこで今回は、過去の自分を救えるように、word2vecをできるだけ簡潔に、そして直観的に理解できるように解説していきます。 なお、word2vecについては以下書籍でよくまとまっているので、よろしければ是非！ Pythonと実データで遊んで学ぶ データ分析講座 作者: 梅津雄一,中野貴広出版社/メーカー: シーアンドアール研究所発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る ※追記※ スマホのAMPだと、行列や数式がうまく表示されない可能性がありますので、こちらのリンクかPCから購読頂けますと幸いです。 word2vecを使うと何ができる

今DL for NLP界で、BERTというモデルが話題です。PyTorchによる実装が公開されていたので、日本語Wikipediaコーパスに適用してみました。 コードはこちらに公開しております。 2018/11/27 作成したBERTのモデルを使って内部動作の観察とその考察を行いました。単語の潜在表現獲得の部分で感動的な結果を見せてくれました。ご興味あればご覧ください↓ https://qiita.com/Kosuke-Szk/items/d49e2127bf95a1a8e19f この記事ではBERTのポイントの解説と、ポイントごとの実装を紹介します。 尚、記事の執筆にあたってこちらのリポジトリを参考にさせていただきました。 https://github.com/codertimo/BERT-pytorch 本記事は以下の4つで構成されています。 ・BERTとは ・BERTのキモ ・BER