トピックモデルで単語の分散表現 - 理論編 - LAPRAS AI LAB
こんにちは。代表の島田です。 最近はDeepLearningがホットなキーワードになっていますが、トピックモデルという自然言語処理における手法も、少し前に注目を集めました。聞いたことはあるけど何なのかわからない、という方のために、今回はトピックモデルに関して説明します。 Pythonなどの言語ではライブラリが利用できますが、トピックモデルなどの原理を知っておくことでパラメータチューニングが思いのままにできるようになります。 LDAやトピックモデルについては最新の技術！というわけではないので他にも解説記事があると思いますが、今回は「流行りの単語がとりあえず何なのか知る」ということを目的に、前半は機械学習エンジニアではない方にもわかりやすく解説しようと思います。 モチベーション 単語をベクトルで表したい！ 自然言語データを使ったレコメンドエンジンの構築やテキストの分類などで、単語をクラスタリン
Word2Vec：発明した本人も驚く単語ベクトルの驚異的な力
Word2Vecとは Word2Vecで演算処理する Word2Vecとニューラルネットワーク Word2Vecの仕組み CBoW Skip-gram Word2Vecを応用することができる分野 レコメンド 機械翻訳 Q&A・チャットボット 感情分析 Word2Vecの弱点 Word2Vecの派生系や類似ツール GloVe WordNet Doc2Vec fastText まとめ 参考 世界中のWebサイトの数は2014年に10億件を超えたようだ。そして、Facebookのユーザー数だけでも16億人を超えている。 そして、そのいずれもコンテンツの中身の大部分はテキストから成り立っていることだろう。 ということは、莫大に増大し続けるネット上のデータのほとんどはどこかの国の言葉だってことだ。世界中の人が毎日テキストデータを生成し続けたことはこれまでの歴史上無かったんじゃないだろうか。 もしそん
word2vec（Skip-Gram Model）の仕組みを恐らく日本一簡潔にまとめてみたつもり - これで無理なら諦めて！世界一やさしいデータ分析教室
久しぶりの記事更新です。 今回はかねてより書いてみたかったword2vecについて。 word2vecはとても面白い考え方なのですが、個人的には仕組みがちょっと捉えづらく、理解するのに結構時間がかかりました。 そこで今回は、過去の自分を救えるように、word2vecをできるだけ簡潔に、そして直観的に理解できるように解説していきます。 なお、word2vecについては以下書籍でよくまとまっているので、よろしければ是非！ Pythonと実データで遊んで学ぶ データ分析講座 作者: 梅津雄一,中野貴広出版社/メーカー: シーアンドアール研究所発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る ※追記※ スマホのAMPだと、行列や数式がうまく表示されない可能性がありますので、こちらのリンクかPCから購読頂けますと幸いです。 word2vecを使うと何ができる
もういちどだけ内積・外積 [物理のかぎしっぽ]
この記事の前半では，ベクトルの掛け算である内積と外積を，もう一度じっくり考え直してみます．得になるような話は何も出てきませんので，『もうよく分かってるよ』という人は読まなくてもいいでしょう．内積や外積の計算をしていて，特に何も問題を感じない，という人も読まなくていいでしょう．『一応，計算方法は知ってるけど，なんだか意味がよく分からなくて，気持ちワルイ！』という人，どうぞ読んで見てください．高校生でも読める解説を目指しましたが，とことん理解したいという頑固な人を読者として想定していますので，少し高度な内容も含みます．発展的な内容に関しては，それに関連する分野に触れました．今後の勉強の指針になればと思います． 最後のセクションでは，テンソルの概念に少し触れます． ベクトルの掛け算 まず二つのベクトル , を次のように定義します．この記事で出てくるベクトルは全て 次元とします．太字の というのは
機械学習の予測モデルを一般化線形モデルで考える概要＋ロジスティック回帰 - HELLO CYBERNETICS
はじめに 一般線形モデル 最小二乗法 最小二乗法の背後に潜む仮定 まとめ ちょっとした例題 一般化線形モデル 出力を加工する ノイズについて考えなおす ロジスティック回帰モデル 線形モデルをいじったロジスティック回帰モデルの考え方 最後に はじめに 前回の記事 s0sem0y.hatenablog.com の続きってほど滑らかに繋がってはいませんが、少し突っ込んだ話に行きます。 ここでは前回、データ$x$から$y$を予測する場合のモデルが $$ y = f(x) $$ と表せるようなケースを想定して話を進めました。その際のポイントとして、 $$ y = f(x) = w\cdot \phi(x) $$ と、（非線形）変換$phi(x)$を噛ませた後に$w$を重みとした線型結合を考えるという手順を踏みました。 $\phi(x)$の選び方や$w$の求め方に特に具体的な制限を設けずに前回は話しま
ガウスカーネルとその特徴ベクトル - 具体例で学ぶ数学
ガウスカーネルとは ・$K(x,x’)=e^{-a(x-x’)^2}$ という式で定義される二変数関数のことをガウスカーネルと言います。$a$ は正の定数です。関数の入力は $x$ と $x’$ で、出力はスカラーです。このページでは一次元のガウスカーネルについて説明します（$x$ と $x’$ はスカラーとします）。 ・ガウス分布（正規分布）の確率密度関数に似ています。 ・ガウスカーネル $K(x,x’)$ は $x$ と $x’$ の「近さ」を表します。 ・$x=x’$ のとき $K(x,x’)=1$ で、$x\neq x’$ のときは $K(x,x’)<1$ です。 ガウスカーネルの特徴ベクトルとは データ $x$ に対する特徴ベクトルが $\overrightarrow{\phi}(x)$ であるとき、それに対応するカーネル関数は、 $K(x,x’)=\overrightarrow
今更聞けないリプレゼンター定理の解説
定義 リプレゼンター定理(Representer theorem)とは、 「損失関数が$\boldsymbol{\omega}^{ \mathrm{ T } }\boldsymbol{\phi}(\boldsymbol{x}_i)$（パラメータ$\boldsymbol{\omega}$と特徴ベクトルの積）の関数として表現できるとする。この損失関数に正則化項を加えて最適化する問題において、その正則化項が$\lambda\boldsymbol{\omega}^{ \mathrm{ T } }\boldsymbol{\omega}$という形をしていれば、その最適解$\hat{\boldsymbol{\omega}}$は$\boldsymbol{\phi}(\boldsymbol{x}_i)$で張られる空間に存在する」 というものである。 この定義だけでは理解し難いので、具体例を記しておく。 例え
SVM(Support Vector Machine)
１．SVM(Support Vector Machine) SVM(Support Vector Machine)は，1960年代に Vapnik によって提案された二値分類のための教師ありアルゴリズムである[1]。 1990年代になってカーネル学習法と組み合わせた非線形識別手法として脚光を浴びた。 そういう点で、ニューラルネットワークよりも誕生が新しい技法と言える。 図１では２次元データを平面上にプロットしたものである。○と●の２種類がある。 例えば、ある花の２品種について、花びらの長さと幅をプロットしたようなものである。 斜めに引いた実線は二つの品種を分ける境界線である。 現在プロットしているデータが学習データに当たる。 観測データに関しては、この境界線より左上側に位置するようならば、○（正）に分類し、 そうでなければ●(負)に分類するものである。 境界線の求め方を点線で示している。
ベクトル空間と線形写像 [物理のかぎしっぽ]
ベクトルと聞くと，矢印をイメージする人が多いかも知れません．この記事では，その図形的なイメージを離れて，ベクトルの持つ性質を高度に抽象化した ベクトル空間 という概念を勉強します． どうも『空間』という言葉に馴染まない人は，慣れるまで，空間を『集合』と読み替えながら読み進んでも大丈夫です．この後に出てくる空間という言葉は，たいてい集合の意味です．この記事の議論では，ベクトルの概念を，矢印とは似ても似つかないものをも含む一般的な概念にまで拡張します．まずここで，図形的な矢印のイメージは潔く捨てて下さい！
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
