絵で理解するWord2vecの仕組み - Qiita
皆さん、Word2vec の仕組みはご存知ですか？ Word2vec は gensim や TensorFlow で簡単に試せるので使ったことのある方は多いと思います。しかし、仕組みまで理解している方はそう多くないのではないでしょうか。そもそも本家の論文でも内部の詳細については詳しく解説しておらず、解説論文が書かれているくらいです。 本記事では Word2vec のモデルの一つである Skip-Gram について絵を用いて説明し、概要を理解することを目指します。まずは Skip-Gram がどのようなモデルなのかについて説明します。 ※ 対象読者はニューラルネットワークの基礎を理解しているものとします。 どのようなモデルなのか？ Skip-Gram はニューラルネットワークのモデルの一つです。Skip-Gram は２層のニューラルネットワークであり隠れ層は一つだけです。隣接する層のユニット
MCMCについて整理してみた。 - Qiita
マルコフ連鎖モンテカルロ法(MCMC法)について ・MCMC法とは何か？ ・MCMC法の種類とPythonモジュール をまとめてみました。 ０．マルコフ連鎖モンテカルロ法(MCMC法)とは？ マルコフ連鎖を用いることで、モンテカルロ法を強化したものです。 後で詳しく書きますが、 モンテカルロ法は、真にランダムにサンプリングを行うため ・計算コストがかさむ ・精度も向上しない という課題があります。 そこでマルコフ連鎖モンテカルロ法は、 その課題をマルコフ連鎖を用いることで改善したものです。 １．モンテカルロ法とは？ "Pythonによるモンテカルロ法入門" http://aidiary.hatenablog.com/entry/20140620/1403272044 モンテカルロ法が一から丁寧に解説されており、 しかもPythonによる実装付きです。 これだけの分量を試しながら、とても丁寧
ソフトマックス関数 | 高校数学の美しい物語
ソフトマックス関数とは yi=exiex1+ex2+⋯+exn (i=1,…,n)y_i=\dfrac{e^{x_i}}{e^{x_1}+e^{x_2}+\cdots +e^{x_n}}\:(i=1,\dots,n)yi=ex1+ex2+⋯+exnexi(i=1,…,n) という関数のこと。 各成分が正で，合計が 111 になるように調整するという役割を持つ。 ソフトマックス関数の定義式： yi=exiex1+ex2+⋯+exn (i=1,…,n)y_i=\dfrac{e^{x_i}}{e^{x_1}+e^{x_2}+\cdots +e^{x_n}}\:(i=1,\dots,n)yi=ex1+ex2+⋯+exnexi(i=1,…,n) について，説明します。 nnn 個の実数 (x1,⋯ ,xn)(x_1,\cdots,x_n)(x1,⋯,xn) を入力とし，
決定木入門編 「ウォーリーを探せ」から考える不純度の考え方 - Np-Urのデータ分析教室
機械学習の分野でよく使われる決定木について今回は説明していきます。 決定木は、回帰、分類問題に対して、非常によく使われる手法の一つで、あらゆる現場でよく使われているのではないかと思います。 アルゴリズム自体はとてもシンプルですし、R,Pythonにおいてパッケージも豊富というところもあり、 何よりも結果の可読性の高さが人気の一つの理由かと思います。 今回の進め方としては、以下のように進めていきます。 決定木って何？（ざっくり図から理解) 分割規則（不純度について） 決定木の理論面については、「はじめてのパターン認識」を参考にしていただくといいかと思います。 はじめてのパターン認識 作者: 平井有三出版社/メーカー: 森北出版発売日: 2012/07/31メディア: 単行本（ソフトカバー）購入: 1人 クリック: 7回この商品を含むブログ (5件) を見る 決定木とは 決定木は、条件分岐によ
赤池情報量基準 AIC
1 赤池情報量規準 Akaike’s Information Criterion AIC 北海道大学大学院水産科学研究院 松石 隆 2 理論曲線のあてはめ Curve Fitting 0 5 10 15 20 25 30 35 40 0 2 4 6 8 10 3 手順 curve fitting procedure １. モデルを決める / decide a model ２．初期値を決める / set initial parameters 2 cx bx a y + + = 2 3 . 0 2 . 0 6 x x y + + = 4 手順 curve fitting procedure 3 残差平方和の計算 sum of square residuals このイメージは、現在表示できません。 ( ) 2 1 2 3 . 0 2 . 0 6 ˆ ˆ i i i n i i i x x y y
最尤推定と EM アルゴリズム - kenta1984の日記
最尤推定と EM アルゴリズムのまとめ。 基本的には、最尤推定の発展バージョンが EM アルゴリズム。 言い換えれば、EM アルゴリズムは最尤推定が基本にあるために、EM アルゴリズムを理解するためには最尤推定を理解することが必須。 最尤推定 最尤という言葉のせいで難しいイメージがあるが、極めて簡単。 表が 0.3 の確率で出るコイン A と表が 0.8 の確率で出るコイン B があるとする。 今、A か B か分からないがどちらかのコインを 3 回続けて投げたら、表、裏、表という順番で出た。 さあ、どっちのコインを投げたでしょう？ このときに最尤推定を使えば簡単に分かる。（というか、最尤推定使わなくても感覚で分かるけど…） コイン A を使ったときの確率（＝尤度）は、 0.3 × （1−0.3） × 0.3 ＝ 0.063 コイン B を使ったときの確率（＝尤度） 0.8 × （1−0.
十分統計量 (Sufficient Statistics) って何なのさ？
「十分統計量」、よく聞くけどいまいちよくわからない用語ですよね。 Wikipedia によれば、次のような場合、その統計量は十分統計量らしいです。（定義ではなくざっくりとした意味です） no other statistic that can be calculated from the same sample provides any additional information as to the value of the parameter パラメトリックな分布において、得られたサンプルからパラメータの値を推定する際に最も役立つ統計量といったところでしょうか。 （「そんなの知ってるよ！」って人にとって以下は価値のない内容です） 十分統計量について調べたことのある人なら日本語版の Wikipedia の説明を読んだことがあると思いますが、僕の理解力だと学生の頃読んでも今読んでも意味不明で
ポアソン分布とは何か。その性質と使い方を例題から解説 【馬に蹴られて死ぬ兵士の数を予測した数式】｜アタリマエ！
1年あたり平均0.61人の兵士が馬に蹴られて死ぬ軍隊において、「1年に何人の兵士が馬に蹴られて死ぬかの確率の分布」を求める。 それが、歴史上で初めてポアソン分布が使われた事例だと言われています。 以来、ポアソン分布は主に「ランダムに起きる事故・病気の発症」などにおいて「特定の期間中に何回起こる確率が何%あるのか」を可能な限り正確に把握することで、適切なリスク管理を行うのに活躍しています。 photo credit:Moyan Brenn ポアソン分布とは？ポアソン分布とは、(どの時点でも同様な起こりやすさでランダムに起こる現象と仮定した場合に)「単位時間あたりに平均 λ 回起こる現象が、単位時間に k 回起きる確率」を表すのに使われる確率分布のこと。 この「単位時間あたりに平均 λ 回起こる現象が単位時間に k 回起きる確率」は多くの場合、以下の式で表されることが分かっています。 この式は
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.ism.ac.jp/~daichi/lectures/H26-GaussianProcess/gp-lecture2-daichi.pdf
[PDF]一般化線形モデル入門の入門