タグ

2016年7月2日のブックマーク (2件)

  • BPStudy#106 まとめ

    2016/06/24(金) に開催されたBPStudy#106( ) のまとめです。

    BPStudy#106 まとめ
    mrkn
    mrkn 2016/07/02
  • ディープラーニングによる 自然言語処理 (技術編)

    名古屋大学特別講義 2016年6月29日(水) ディープラーニングによる 自然言語処理 (技術編) 日アイ・ビー・エム株式会社 東京基礎研究所 坪井 祐太 yutat@jp.ibm.com 1 ニューラルネットワーク技術詳細 • 目的関数 • 誤差関数 • 目的関数の最小化 • 勾配法 • 目的関数の微分計算 • 誤差逆伝搬法 • 誤差の分解と対処手法 • 推定誤差に効く手法 • 最適化誤差に効く手法 • RNNの話題 2 目的関数: 誤差 • 教師あり学習の目的関数 • 𝑥 ∈ 𝑋: 入力, 𝑦 ∈ 𝑌: 出力 • 入力xからyを予測したい問題設定 • 真の目的関数: 𝐿∗ 𝜃 = ∫𝑝 𝑥, 𝑦 ℓ𝜃 𝑥, 𝑦 𝑑𝑥𝑑𝑦 • ℓ𝜃は事例ごとの損失関数(後述) • 訓練データでの誤差 • データ分布p(x,y)は普通わからないので訓練データN個: D=