Extreme Learning Machine
はじめまして．デンソーアイティーラボラトリの坂倉義明(@a2ki)と申します．よろしくお願いします． さて，今日は，Extreme Learning Machine(ELM)についてご紹介します．ELMは，Single Layer FeedForward Neural Networkの高速な学習スキームです．今流行のDeep Networkとは真逆ですね． 高速化のポイントは，入力層から隠れ層への重みの学習を諦めることです．具体的な手順として，回帰の場合以下になります． 入力層から隠れ層への重みをランダムに生成 隠れ層の出力（活性化関数を通した）を計算 2と教示データの回帰係数を求め（疑似逆行列）隠れ層から出力層への重みとする そりゃはやいっすよね… ここで疑問になるのが，これで良いのかという点．これに関し提案者は，「有界・区分連続・な活性化関数，十分な数の隠れ層を用いれば，ELMは任意の
Kneser-Ney Smoothing を試してみた - 木曜不足
Kneser-Ney Smoothing は高性能な言語モデルである。と、よく聞かされて知っているつもりだけど、まだ一度も試したことがなかったので、試してみた。 コードはここ。 https://github.com/shuyo/iir/blob/master/ngram/knsmooth.py 実験用にべったり書いているのでコピペは多いし、速度やメモリの効率も悪いが、まあ気にしないで。 コーパスは最初手元の適当なニュースコーパスを使っていたんだけど、それだと再現検証できないので、nltk のコーパスを使うように変更した。 nltk.corpus の下にあるコーパスモジュール名を -c オプションで与えると、そのコーパスを使って additive smoothing と Kneser-Ney smoothing の perplexity を出してくれる。 デフォルトでは Brown コーパス
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
