これもある意味Deep Learning,Recurrent Neural Network Language Modelの話 [MLAC2013_9日目] この投稿は Machine Learning Advent Calendar 2013 の9日目の記事です. 本日は,Neural Network(NN)を利用したLanguage Model(LM),つまりNeural Network Language Model(NNLM)の一種であり, Recurrent Neural Network(RNN)を使ったRecurrent Neural Network Language Model(RNNLM)について説明します. RNNLMに行く前置きとしてざっくりいくつか用意したので,知ってそうな人は先へ進んでください. 前置きを入れているうちに長くなりすぎた.... しかも,そもそもNNの説明
実は,下の6つは,同じものである。 かけ算 内積 なす角の余弦 共分散 相関係数 相関関数 これらは6つとも類似度を算出するためのツールだ。 (↑まとめ画像) これらを1つずつ解説・検証する。 (1)かけ算: 符号を見れば,数と数(スカラーとスカラー)の類似度がわかる。 (2)ベクトルの内積: (1)を複数回行なうことにより,信号と信号(ベクトルとベクトル)の類似度がわかる。やはり符号を見る。 (3)ベクトルがなす角の余弦: (2)の類似度の数値を, -1(完全に異なる) 〜 +1(同じ) の範囲に正規化したもの。 (4)共分散: (2)から,平均のバイアスを取り除いたもの。 (5)相関係数: (4)を -1 〜 +1 の範囲に正規化したもの。 (6)相関関数: (2)を,あらゆるずらし方について観測したもの。 まとめ (1)かけ算: 符号を見れば,数と数(スカラーとスカラー)の類似度がわ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く