エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント0件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Embedding
記号世界とベクトル空間の接続 one-hotベクトル 1次元1記号に対応するベクトルを考え,1次元だけ1で,他... 記号世界とベクトル空間の接続 one-hotベクトル 1次元1記号に対応するベクトルを考え,1次元だけ1で,他は全て0であるベクトル embedding matrix one-hotベクトルを分散表現に変換する行列 得られたベクトルはembeddingや分散表現とよばれる softmax関数に十分大きいscaling factorを導入した関数 全ての要素のうち最も大きい値を取る要素のみ1で残りは0となる 分散表現をone-hotベクトルに変換できる ニューラル言語モデル FFNN-LM 入力は時刻$t$より前$C$単語分のone-hotベクトルから抽出されるembeddingを連結したベクトル 出力層のベクトルの各次元を,対応する単語が生成される尤度と考える そのベクトルにsofmax関数をかけた値を確率とする RNN-LM 隠れ層の計算がRNNになる 入力は1単語ずつのone-hotベ