サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
TGS2024
satopirka.com
Encoder-decoderモデルとTeacher Forcing、Scheduled Sampling、Professor Forcing Encoder-decoderモデルとTeacher Forcing、それを拡張したScheduled Sampling、Professor Forcingについて簡単に書きました。 概要 Encoder-decoderモデルは、ソース系列をEncoderと呼ばれるLSTMを用いて固定長のベクトルに変換(Encode)し、Decoderと呼ばれる別のLSTMを用いてターゲット系列に近くなるように系列を生成するモデルです。もちろん、LSTMでなくてGRUでもいいです。機械翻訳のほか、文書要約や対話生成にも使われます。 Encoder-decoderモデルの概略図 Encoder ソース系列X=(x1,x2,…,xS)X = (x_1, x_2, \d
今年二発目のエントリです. NNablaでKerasっぽくLSTMを書きました. Long Short-Term Memory (LSTM) LSTMとは,前回実装したRNNだけでは取扱が困難だった系列データの長期依存を学習できるように改良した回帰結合型のニューラルネットワークである. Understanding LSTM networksより 詳しいアルゴリズムは上記サイトを参照. 細かい実装上のshapeを以下に示す. 入力,忘却ゲート,入力ゲート,出力ゲートは以下のように示される. $$ \text{a}_t = \text{tanh}(W_a \cdot \text{concat}([\text{input}_{t}, \text{hidden}_{t-1}]) + b_a) $$ $$ \text{input\_gate}_t = \sigma(W_i \cdot \text{c
この記事はVisual Studio Code Advent Calendar 2017の16日目の記事です. 普段は機械学習とかしてるけどたまにはこんなネタも. つくったもの Markdownを日本企業で使えるメール文面に変換してくれるmaildownをVSCode経由で使えるmd2mailというextensionを作りました. もともと会社の同期が欲しがっていた機能を自分たちが使えればよいという雑なレベルで実装しました.なので中身はおかしい所がいっぱいでアレです. ダウンロードは以下から md2mail - Visual Studio Marketplace satopirka/md2mail - Github 使い方 コマンドパレットから”Open Preview (md2mail)“でプレビューを開くことができます. 本家と違いtext lint等一部の機能が省かれていることです.
この記事は昔Qiitaに投稿していた内容になります. 元記事の方は近々削除する予定です. 導入 Qiitaで重回帰と検索をかけても意外と数式での説明がなかったので今回は数式で攻めたいと思います. 例題として,The Boston Housing Datasetを使います. https://raw.githubusercontent.com/satopirka/Lasso/master/Boston.csv crim zn indus chas nox rm age dis rad tax ptratio black lstat medv 1
$$ \begin{aligned} \boldsymbol{S}_{\lambda}(\boldsymbol{\beta}) & = ||\boldsymbol{y}-\boldsymbol{X\beta}||^2 + \lambda||\boldsymbol{\beta}||_q \\\\ & = ||\boldsymbol{y}-\boldsymbol{X\beta}||^2 + \lambda \sum_{i=0}^{p}{|\beta_i|^q} \cdots (*) \\\\ \end{aligned} $$ となります. 確認ですが, $\boldsymbol{y}$:n次元の観測ベクトル $\boldsymbol{X}$:n×(p+1)次元の計画行列(design matrix) $\boldsymbol{\beta}$:(p+1)次元の回帰係数ベクトル (これを求めたい.
このページを最初にブックマークしてみませんか?
『satopirka.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く