DeepLearning における会話モデル： Seq2Seq から VHRED まで - Qiita
こんにちは。 DeepLearning で対話ロボットを作ろうとしているインコです。 この記事は mixi Advent Calendar 2017 の 12/03 の記事です。 概要 近年対話モデルとして DeepLearning を用いた End to End のアプローチが盛んに行われています。 この記事ではこれらに用いられるモデルとして一問一答に使われる Seq2Seq から出発して、複数発話コンテキストを扱いベイズ的なアプローチを組み込んだ VHRED を理解することをゴールとします。 会話モデルのもろもろ https://arxiv.org/pdf/1506.05869.pdf DeepLearning で対話！と言ったときにまず出てくる基本的なモデルが Sequence to Sequence こと Seq2Seq です。 これは発話・応答のシーケンスのペアを学習させることで
SentencePieceを使用してRNN言語モデルを学習させてみる - 今日も窓辺でプログラム
はじめに 前回の記事ではpytorchのサンプルコードを参考にし、Wikipediaの記事の一部に対してRNN言語モデルを学習させてみました。 RNN言語モデルのpytorch実装をWikipediaの記事で学習させてみる - 今日も窓辺でプログラム その際にWikipediaの記事を単語に分割するための技術として、MeCab + neologd辞書を使用していました。 Wikipediaの日本語記事を全行を、分かち書きしてforループで回す - 今日も窓辺でプログラム 最近出てきた文章を単語分割する手法に、wordpiecesと呼ばれている技術があります。その実装であるSentencePieceがGoogleから公開されています。 技術的な解説などは、SentencePieceの開発者の方（MeCabの開発者でもあります）が公開しているQiitaの記事で詳しく説明されているので、ぜひ読ん
Deep Learning for NLP Best Practices
Deep Learning for NLP Best Practices Neural networks are widely used in NLP, but many details such as task or domain-specific considerations are left to the practitioner. This post collects best practices that are relevant for most tasks in NLP. This post gives an overview of best practices relevant for most tasks in natural language processing. Update July 26, 2017: For additional context, the Ha
WaveNetまとめ - Qiita
明治大学総合数理学部 Advent Calendar 2017 19日目の記事です. はじめまして. 現象数理学科３年の江口です. Qiita初投稿です. この記事では, WaveNetについてまとめました. 時間があれば, 最近発表されたParalell WaveNet についてまとめたいと思います. 前提知識 Neural Network Convolutional Neural Network Recurrent Neural Network ResNet 背景 唐突ですが, データサイエンティストたるものデータサイエンティストを目指すなら, deep learningの最新動向は随時追っていなければ, と思いDeep Learning Weeklyを読み始めました. ここには最近話題のCapsule Networkについても紹介されています. deep learningに関する最近
メル周波数ケプストラム係数（MFCC） - 人工知能に関する断創録
Pythonで音声信号処理（2011/05/14）の第19回目。 今回は、音声認識の特徴量としてよく見かけるメル周波数ケプストラム係数（Mel-Frequency Cepstrum Coefficients）を求めてみました。いわゆるMFCCです。 MFCCはケプストラム（2012/2/11）と同じく声道特性を表す特徴量です。ケプストラムとMFCCの違いはMFCCが人間の音声知覚の特徴を考慮していることです。メルという言葉がそれを表しています。 MFCCの抽出手順をまとめると プリエンファシスフィルタで波形の高域成分を強調する 窓関数をかけた後にFFTして振幅スペクトルを求める 振幅スペクトルにメルフィルタバンクをかけて圧縮する 上記の圧縮した数値列を信号とみなして離散コサイン変換する 得られたケプストラムの低次成分がMFCC となります。私が参考にしたコードは振幅スペクトルを使ってたけど
Tacotron2の詳細と解説 : 研究開発
総合研究大学院大学 複合科学研究科 情報学専攻 卒 博士（情報学） 自然言語処理や機械学習、データ分析に関する研究内容とwebシステムの開発と運用について書いています。 シリコンバレーベンチャーみたいに深い技術の事業化をしたいと思っています。 ご興味ある方はご連絡ください。 Tacotron 2のクオリティすごい。もはや人間との違いがほとんど分からないレベル。Audio samples from "Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions" https://t.co/NO5anqUSv1 — Shinya Yuki (@tuntuku_sy) 2017年12月20日 Natural TTS Synthesis by Conditioning WaveNet on Mel Spe
ChainerとRNNと機械翻訳 - Qiita
自然言語処理とニューラルネット ここ数年で、自然言語処理の分野でもニューラルネットが非常に頻繁に使われるようになってきました。 自然言語処理で主に解析対象となるのは単語の配列や構文木などで、これらの内包する情報を表現するためにrecurrent neural network1やrecursive neural network1などに基づくモデルが頻繁に使われます。これらの最大の特徴はニューラルネットがある種のデータ構造を持っているという点で、1レイヤあたりのノードはそれほど多くない代わりにネットワークの接続が複雑で、しかも入力されるデータごとにネットワークそのものの形状が変化するという特徴があります。このため、伝統的なfeedforward neural networkを前提としたツールキットでは構築が難しいという問題がありました。 Chainerは、そのような問題を概ね解決してしまう強力
Character-Based Deep Convolutional Models | DeepDetect
Below are a range of character-based deep convolutional neural networks that are free, even for commercial use in your applications. These models have been trained over various corpuses, from sentiment analysis in many languages to advertizing link classification from just reading a URL. They should accomodate a range of applications. Training your own models is made easy too and can lead to even
ニューラル言語モデルは何を目的としているのか？ 〜 「A Neural Probabilistic Language Model」を途中まで読んだ - 病みつきエンジニアブログ
word2vecでさんざん遊んだ皆さん、こんにちは。 今日は、word2vecの元になった論文の元になった論文の先行研究になっている論文「A Neural Probabilistic Language Model(Yoshua Bengio)」の紹介です。 word2vecは、単語の素性で足し算・引き算ができたり、単語の類推(アナロジー)ができたり、単語の素性の面白さが注目されています。とは言え、ニューラルネットによる言語モデルは、別に単語の素性で遊ぶために作られたわけではありません。 ということで、ニューラルネットによる言語モデルの本家(？)である「確率的ニューラル言語モデル(Bengio先生)」の論文から、「そもそも何を目的にモデリングしているのか」「なぜニューラル言語モデルが必要なのか」というあたりを、紹介したいと思います(主にIntroductionの部分、ということになります。)
Understanding Natural Language with Deep Neural Networks Using Torch | NVIDIA Technical Blog
After the machine has learned word embeddings, the next problem to tackle is the ability to string words together appropriately in small, grammatically correct sentences which make sense. This is called language modeling. Language modeling is one part of quantifying how well the machine understands language. For example, given a sentence (“I am eating pasta for lunch.”), and a word (“cars”), if th
The Unreasonable Effectiveness of Recurrent Neural Networks 文字ごとのLSTMニューラルネット言語モデルでテキスト(シェークスピア)、Wikipediaページ、コード(Linuxのカーネル)などを自動生成する話 - Qiita
興味深い記事があったので備忘録の意味も込めて、翻訳しました。 間違いが多々あるかもしれませんが、その点はご容赦を 内容は要約なので、詳しい内容を知りたい方は元記事をご覧下さい。 元記事 コード Recurrent Neural Networksは何がすごいか？ 通常は固定長のベクトルの入力と固定長の出力のベクトルのみだった。 Recurrent Neural Networksはその制限が外れている点が優れている。 下記の例のように 左から（１）〜（５）とすると （１）：Recurrent Neural Networksがないので固定長の入力と出力 （２）：連続された出力（画像から文字列出力など） （３）：連続された入力（翻訳：複数の英文入力からフランス語への翻訳など） （４）：連続された入力と出力（ビデオを入力とし、出力がラベル付けされたビデオなど） （５）：同期された連続入力と出力（ビデ
これもある意味Deep Learning，Recurrent Neural Network Language Modelの話 [MLAC2013_9日目] — KiyuHub
これもある意味Deep Learning，Recurrent Neural Network Language Modelの話 [MLAC2013_9日目] この投稿は Machine Learning Advent Calendar 2013 の9日目の記事です． 本日は，Neural Network(NN)を利用したLanguage Model(LM)，つまりNeural Network Language Model(NNLM)の一種であり， Recurrent Neural Network(RNN)を使ったRecurrent Neural Network Language Model(RNNLM)について説明します． RNNLMに行く前置きとしてざっくりいくつか用意したので，知ってそうな人は先へ進んでください． 前置きを入れているうちに長くなりすぎた...． しかも，そもそもNNの説明
![これもある意味Deep Learning，Recurrent Neural Network Language Modelの話 [MLAC2013_9日目] — KiyuHub](https://cdn-ak-scissors.b.st-hatena.com/image/square/cac50dfe53f692699058da4611c63ceb7fb568f7/height=288;version=1;width=512/http%3A%2F%2Fkiyukuta.github.io%2F_images%2Fneural_language_model.png)
Deep Learningと自然言語処理
2014/12/25の社内セミナー「Deep Learningと自然言語処理」の資料です。Read less
自然言語処理分野における ディープラーニングの現状
⾃ࠞ然⾔ࢠ語処理ྞ分野における ディープラーニングの現状 渡邉 ̀陽太郎ྒ 東北ྖ⼤֒学⼤֒学院情報科学研究科 IBIS2013 企画セッション2：ディープラーニング 2013/11/12 NLPにおけるディープラーニング 2 ⾔ࢠ語モデル の構築 ⾔ࢠ語の構成性 のモデル化 構成的意味論ྔ ⾔ࢠ語解析 （構造予測） Recursive Neural Networks Autoencoders (Socher et al., 2011, 2012, 2013) RBM (Minh and Hinton 2007) Feed-forward Deep NN (Bengio et al., 2003, Arisoy et al., 2012) Recurrent NN (Mikolov et al., 2010) (Wang and Manning 2013) (Mansur et al.,
自然言語処理まわりのDeep Learningを自分なりにまとめてみた — KiyuHub
自然言語処理まわりのDeep Learningを自分なりにまとめてみた “自然言語処理のためのDeep Learning”というスライドを公開しました． 自然言語処理のためのDeep Learning from Yuta Kikuchi カジュアルな感じで自然言語処理まわりのDeep Learningの話題をまとめた感じになっています． きっかけは，勉強会をしていることを知ったOBのbeatinaniwaさんにお願いされたことで， 株式会社Gunosyの勉強会の場で，発表の機会を頂きました． それが，9/11で，その後9/26に研究室内で同じ内容で発表しました． どちらも思った以上に好評を頂け，公開してはと進めて頂いたので，公開することにしました． もちろん間違いが含まれている可能性も多分にあるので．気づいた方はご指摘頂けると幸いです． 内容ざっくり 前半は，ニューラルネットワークを図を使
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
最近のDeep Learning (NLP) 界隈におけるAttention事情
GitHub - yusuketomoto/chainer-char-rnn: karpathy's char-rnn (https://github.com/karpathy/char-rnn) implementation by Chainer
自然言語処理分野におけるディープラーニングの現状