neural-dialog-model-kanto-mt-20170714
ニューラル対話モデルの発展と課題 坪井祐太 <tsuboi@preferred.jp> 第⼀回関東MT勉強会 ⾃⼰紹介 - 坪井祐太; Yuta Tsuboi - • 所属: Preferred Networks, Inc. https://twitter.com/unnonouno/status/881667520788185088 図は森北出版より http://www.morikita.co.jp/books/book/3034 図は講談社より http://www.kspub.co.jp/book/detail/1529243.html 対話モデル • 対話⽂脈から次 の応答を予測す るモデル – ２⼈以上の話 者 – ⽂脈１つ以上 の発話 I think … But … I agree… ？ 対話⽂脈 （⼊⼒系列） 応答予測 （出⼒系列） 会話の進⾏ 話者交替 話者交替 話者交替
ディープラーニングによる 自然言語処理 (技術編)
名古屋大学特別講義 2016年6月29日(水) ディープラーニングによる 自然言語処理 (技術編) 日本アイ・ビー・エム株式会社 東京基礎研究所 坪井 祐太 yutat@jp.ibm.com 1 ニューラルネットワーク技術詳細 • 目的関数 • 誤差関数 • 目的関数の最小化 • 勾配法 • 目的関数の微分計算 • 誤差逆伝搬法 • 誤差の分解と対処手法 • 推定誤差に効く手法 • 最適化誤差に効く手法 • RNNの話題 2 目的関数: 誤差 • 教師あり学習の目的関数 • 𝑥 ∈ 𝑋: 入力, 𝑦 ∈ 𝑌: 出力 • 入力xからyを予測したい問題設定 • 真の目的関数: 𝐿∗ 𝜃 = ∫𝑝 𝑥, 𝑦 ℓ𝜃 𝑥, 𝑦 𝑑𝑥𝑑𝑦 • ℓ𝜃は事例ごとの損失関数（後述） • 訓練データでの誤差 • データ分布p(x,y)は普通わからないので訓練データN個: D=
Machine Learning for NLP
自然言語処理における ディープラーニングの発展 Yuta Tsuboi IBM Research Tokyo yutat@jp.ibm.com 2015-03-16 出版予定のサーベイ論文の内容を元にお 話します • 坪井 祐太, 自然言語処理におけるディープラーニングの発展, オペ レーションズ・リサーチ, Vol.60, No.4 (In press) 自然言語処理(Natural Language Processing; NLP)の特徴 -画像認識・音声認識との比較- • 離散入力 • テキストは記号列 （「あ」と「い」の距離は定義されない vs 画像のRGB） • 典型的には疎な離散値ベクトルとして入力を表現 • 離散であるため組み合わせ特徴量の構成が直感的で比較的構成しやすい • E.g. “New” ∧ “York” “New York” • 課題: 組み合わせ特徴量は指数
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
