LINEでみりあちゃんと会話できるようにした(Seq2Seqとキャラ対話データを用いた転移学習によるキャラクター性対話ボットの作成) - muscle_keisukeの日記
この記事はシンデレラガールズAdvent Calendar 13日目の記事です． 目次 目次 はじめに みりあちゃん大好き どうやってみりあちゃんとお話するか みりあちゃんモデルの作成 Seq2Seqで対話ボットの学習 Seq2Seqとは モデルの作成 転移学習でみりあちゃんの口調を学習 転移学習とは 口調の学習を行う方法 データの収集 Twitterから対話データの収集 ツイートとリプライを取得 データの整形 デレマスのSSなどからみりあちゃんの対話データを収集 取得したデータの整形 取得したデータ数 実際に学習を行う 環境 Twitterデータでクソリプボットに データでかすぎ問題 モデルの会話例 転移学習でみりあちゃんボットに モデルの会話例 LINEでみりあちゃんとお話しできるようにする LINE APIの使用 VPSにサーバを建てる 学習済みボットを物理サーバーに載せる VPSの
異空間への埋め込み！Poincare Embeddingsが拓く表現学習の新展開 - ABEJA Tech Blog
ABEJAでResearcherしている白川です。 今回ご紹介するのは、Poincaré Embeddings [1]という手法です。その内容に驚愕し、個人的に調べたり実装したり勉強会でお話したりしていたところ、最近運良く自分の実装をredditで取り上げてもらえたので、これを機にその驚愕の内容を共有できればと思います。 正直、自分の中ではまだ煮詰まりきっていない技術なので、現況の共有はしますが、ところどころ私の憶測や展望、期待が入り混じっていることをご容赦ください。 www.reddit.com Poincaré Embeddingsは大雑把に言えばword2vecを異空間で実現する技術で、双曲空間（Hyperbolic Space）という、おなじみのEuclide空間（2点$x,y$の間の距離を$\sqrt{(x_1 - y_1)^2 + (x_2 - y_2)^2 + ... + (
前処理にディープラーニングを使う - にほんごのれんしゅう
前処理にディープラーニングを使う 目的 スクレイパーなどで集めた画像には、ターゲットとする画像以外必要ないケースが度々ある データセットづくりと呼ばれる画像からノイズ画像を取り除くスクリーニングの作業の簡略化の必要性 画像のスクリーニングを機械学習でやってしまおうという試みです 前処理そのものにディープラーニングを投入する 画像処理において、学習したい画像かどうかをスクリーニングすることは膨大なコストがかかるので、この作業自体を自動化したい 今回はスクレイパーでいい加減にあつめたグラビア女優の画像7万枚超えを、手動でスクリーニングするのは極めて困難なので、VGG16を転移学習させてフィルタを作っていきます 一枚10円で500枚のペア（positiveとnegative）のデータセットを知り合いのニートに作ってもらう ニートの作成したデータセットをもとに、転移学習させてフィルタを構築 システ
TensorFlowクラスタで ディープラーニングの分散処理環境を構築してみる | NTTデータ先端技術株式会社
機械学習とディープラーニング 機械学習という言葉がバズワードになって久しく、今では人工知能という名のもとに、商品のレコメンド機能や自動車の自動運転技術、相場の予測など実社会にも次々に応用され始めている。 その機械学習アルゴリズムの中でも近年特に注目を浴びているのがディープラーニングだ。2016年3月に、Google社が開発したディープラーニングを利用した囲碁用の人工知能「AlphaGo」が世界トップクラスのプロ棋士に勝利したという衝撃的なニュースでも記憶に新しいだろう。 本コラムでは、最新バージョンが先月公開され、AlphaGoでも利用されているGoogleの機械学習フレームワーク「TensorFlow8.0」の目玉機能である分散処理機能についてご紹介する。 TensorFlowとは ディープラーニングが目覚ましい進化を遂げた2010年代以降、カリフォルニア大学バークレー校の「Caffe」
Keras : コード解説 : IMDB 感情分析 using Embedding, LSTM 層 – RNN – Keras TensorFlow Theano
Keras : コード解説 : IMDB 感情分析 using Embedding, LSTM 層 * Keras GitHub の サンプル の幾つかの imdb_*.py スクリプト・ベースの snippets。 IMDB 感情分析 using Embedding, LSTM 層 アマゾンが提供している、 インターネット・ムービー・データベース という映画・TV ドラマの情報配信サイトのレビューを使用した感情分析モデルの実装です。 幾つかのモデルが用意されていて、Embedding（埋め込み）層、 LSTM 層 そして畳み込み層を混在させて使います。 インポート from __future__ import print_function import numpy as np np.random.seed(1337) # for reproducibility from keras.p
Deep Learningのハイパパラメータの調整 - もちもちしている
この記事はDeep Learning Advent Calendar 2015 23日目の記事です． はじめに コンピュータセキュリティシンポジウム2015 キャンドルスターセッションで（急遽）発表したものをまとめたものです． また，私の体力が底を尽きてるので，後日に大幅な加筆・修正します． Deep Learning Advent Calendar 21日目の記事はすいません，しばらくお待ちください... Deep Leaningの光と闇 Deep Learningが様々なタスクにおいて大きな成果を上げています．また，各種フレームワークの登場によって，Deep Learningの導入や実践する敷居が大幅に下がりました．このことから，Deep Learningを活用していこうと考えてる，あるいはすでに活用している企業や研究者が増えてきています． Deep Learningによって従来の手法
【Deep Learning 画風変換】ポケモンを大神の世界に連れて行ってみた - イーブイの遠洋漁業
みなさんは，画風変換をしてみたい！と思ったことはありませんか？例えばお気に入りの犬の画像を毛筆風にしてみたり，アニメ風にしてみたり・・・ 僕は，「ポケモンを大神（別のゲーム）の世界に連れて行ったらどんな風にデフォルメされるのかな？」と想像を膨らませることがよくあります。 中には自分の頭の中で想像したものを描ける方もいると思うのですが，僕には中々ハードルが高い・・・ そんなことを考えていると，こんな記事を見つけました。 画風を変換するアルゴリズム なぬ！！画風を変換することができる・・だと！？これは気になるぞー このページを見ると，pythonで書かれたプログラム(chainer gogh)が公開されているようなので，さっそくダウンロードして動かしてみました。 今回はサンダースを，アマ公の画風に変換してみます。ワクワクしますね！ サンダース「た，たすけてー」 アマ公「おいでおいでー(^^)」
Net2Net: Accelerating Learning via Knowledge Transfer
We introduce techniques for rapidly transferring the information stored in one neural net into another neural net. The main purpose is to accelerate the training of a significantly larger neural net. During real-world workflows, one often trains very many different neural networks during the experimentation and design process. This is a wasteful process in which each new model is trained from scra
Deep Learningの教材 - こんな夢を見た
Deep Learningを勉強するにあたって内容がまとまっている教材についてリスト化しました。 無論ここに挙げたもの以外にも充実した教材は多数存在します。また、全てを読んだり観たりしたわけではありませんので、コメントは参考程度に考えてください。 (追記) ときどき追記/編集していきます。 (以下、一部敬称略) Bengio オンライン本 Yoshua Bengio, Ian Goodfellow and Aaron Courville http://www.iro.umontreal.ca/~bengioy/dlbook/version-07-08-2015/dlbook.html 現在Web上で閲覧可能。 いつか出版される。終盤はまだ執筆中。 これ一冊で根っこの理論はバッチリそう。天下のBengioさんなので情報の信頼性、網羅性、深みは高い。全部やると分量すごい。 Nielsen オン
Home — TensorFlow
Deploy ML on mobile, microcontrollers and other edge devices
Squeeze the Memory Consumption of Deep Learning — mxnet 0.5.0 documentation
Squeeze the Memory Consumption of Deep Learning¶ One important theme about deep learning is to train deeper and larger nets. While the hardware has been upgraded rapidly in recent years, the huge deepnet monsters are always hungry about the GPU RAMS. Being able to use less memory for the same net also means we can user larger batch size, and usually higher GPU utilization rate. This article discus
Neural networks and deep learning (ニューラルネットワークと深層学習)
ニューラルネットワークと深層学習 What this book is about On the exercises and problems ニューラルネットワークを用いた手書き文字認識 逆伝播の仕組み ニューラルネットワークの学習の改善 ニューラルネットワークが任意の関数を表現できることの視覚的証明 ニューラルネットワークを訓練するのはなぜ難しいのか 深層学習 Appendix: 知性のある シンプルな アルゴリズムはあるか? Acknowledgements Frequently Asked Questions Sponsors Resources 「ニューラルネットワークと深層学習」は無料のオンライン書籍です。 この本では、次のような内容を扱います。 ニューラルネットワーク：コンピュータに、観測データにもとづいて学習する能力を与える、生物学にヒントを得たプログラミングパラダイム。 深
GloVe: Global Vectors for Word Representation
GloVe: Global Vectors for Word Representation Jeffrey Pennington, Richard Socher, Christopher D. Manning GloVe is an unsupervised learning algorithm for obtaining vector representations for words. Training is performed on aggregated global word-word co-occurrence statistics from a corpus, and the resulting representations showcase interesting linear substructures of the word vector space. Down
Deep Learning for Natural Language Processing | Memkite
This blog post gives a brief overview of recent deep learning for Natural Language Processing (NLP) publications sampled from the NLP category published on http://deeplearning.university (disclaimer: this was quickly put together for a local workshop, but hopefully useful) Best regards, Amund Tveit Sentiment Analysis Adaptive multi-compositionality for recursive neural models with applications to
Update with 408 recent papers to Deeplearning.University | Memkite
It has been a while (November 2014) since our last update to the deeplearning bibliography at http://deeplearning.university – but underneath is an update with 408 recent papers (late 2014/early 2015). (This update combined with existing papers will be published to deeplearning.university shortly) Best regards, Amund Tveit (twitter.com/atveit – amund@memkite.com) Links to Deep Learning Subtopics
A Brief Overview of Deep Learning
(This is a guest post by Ilya Sutskever on the intuition behind deep learning as well as some very useful practical advice. Many thanks to Ilya for such a heroic effort!) Deep Learning is really popular these days. Big and small companies are getting into it and making money off it. It’s hot. There is some substance to the hype, too: large deep neural networks achieve the best results on speech re
10/20 名古屋CV発表資料"Building High-level Features Using Large Scale Unsupervised Learning" - takminの書きっぱなし備忘録 @はてなブログ
2012/10/20に開催された名古屋CV・PRML勉強会で発表してきました。 勉強会の様子はこちら。 というわけで、資料を上げておきます。元になった論文はこちらです。 Building High-level Features Using Large Scale Unsupervised Learning from Minagawa Takuya Deep Learningについてはボチボチ勉強していこうと思ってます。
Deep learning with COTS HPC systems
Deep learning with COTS HPC systems Adam Coates acoates@cs.stanford.edu Brody Huval brodyh@stanford.edu Tao Wang twangcat@stanford.edu David J. Wu dwu4@cs.stanford.edu Andrew Y. Ng ang@cs.stanford.edu Stanford University Computer Science Dept., 353 Serra Mall, Stanford, CA 94305 USA Bryan Catanzaro bcatanzaro@nvidia.com NVIDIA Corporation, 2701 San Tomas Expressway, Santa Clara, CA 95050 Abstract
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大トロ ・ Machine Learning
Google TechTalks