シンプルなRNNで文字レベルの言語モデルをTensorFlowで実装してみる - 今日も窓辺でプログラム
はじめに GoogleやMicrosoftなどがディープラーニングを使用した機械翻訳をリリースして各所で話題になっています。こんな感じで記事にもなっています。 Google翻訳、深層学習による新システムで人に迫る自然で正確な翻訳を実現 | マイナビニュース Google翻訳、ディープラーニングの翻訳システムを日本語を含む8言語に拡大 | マイナビニュース Microsoft翻訳もニューラルネット対応で進化 テキストに加え音声翻訳も - ITmedia NEWS せっかくなのでこれらのニュースと少し関連のある、RNNを使用した言語モデルをTensorFlowで実装してみたいと思います。 まずはその第一弾として、文字レベルでの英語の言語モデルを実装します。また、学習の過程をTensorBoardを使用して可視化もしています。 今回はとりあえずRNNを組むことを目標とし、ハイパーパラメータの調整
RNN：時系列データを扱うRecurrent Neural Networksとは
Recurrent Neural Networksとは何か RNNの応用事例 機械翻訳 音声認識 画像の概要生成 説明文からの画像生成 知っておくと便利なRNNの種類と進化 Simple RNN LSTM GRU Bi-directional RNN Attention RNN Quasi-Recurrent Neural Network TensorFlowによるRNNの実装 まとめ 参考文献 人間は、目の前で起きた出来事から、次に起こりそうな出来事を予測しながら文脈を読んで判断を下すことができます。例えば、車を運転している際に歩行者が飛び出しそうだと思えば、十分な間隔を置いて走行することが出来るでしょう。 また、現実世界は時間の制約を受ける事象はたくさんあります。アニメーションなどのストーリーでは、前回の文脈を前提として次の展開が進んでいきます。 Recurrent Neural Ne
TensorFlow の名前空間を理解して共有変数を使いこなす - Qiita
イントロ これは、TensorFlow Advent Calendar 2016 の9日目の記事です． 2015年の11月に公開されたTensorFlowですが，公開当初から「名前空間」の機能がサポートされていました．これはTensorBoardによるグラフ視覚化において使われますが，もちろんそのためだけにあるわけではありません．名前空間は，識別子の管理に非常に有効です．強力な「名前空間」サポートというとC++を思い出しますが，C++の教則本（独習C++）から引用します． 名前空間(namespace)の目的は識別子の名前を局所化し，名前の競合を避けることです．C++のプログラミング環境では，変数，関数，クラスの名前が急増を続けてきました．名前空間が登場する前は，これらのすべての名前がグローバルな名前空間の中で場所を取り合い，多くの競合が発生していました． 一方，Pythonの変数スコープ
word2vecでitem2vecを実装して映画を推薦する - け日記
自然言語処理 Advent Calendar 2017 - Qiita 8日目の投稿となります。 qiita.com 前回の投稿ではword2vecを推薦に応用したitem2vecを紹介しました。 今回は、gensimのword2vecを使ってitem2vecの実装を行い、映画を推薦するシステムを作ります。 ohke.hateblo.jp MovieLens 学習に用いるデータセットとして、かの有名なMovieLensを採用します。 MovieLensは、ミネソタ大学のGroupLensプロジェクトの一環で収集されているデータセットです。 映画のユーザ評価値、各映画のカテゴリやタグなどのメタ情報など、質・量ともに充実しており、推薦システムの評価によく用いられています。 https://movielens.org/ 今回は扱いやすさを優先して、MovieLens 100K Datasetを使
【Python】自然言語処理でラーメン屋を分類してみる - Qiita
はじめに こんにちは、コピペデータサイエンティストです。 3年ぐらい前に「ラーメンと自然言語処理」というおちゃらけLTをしたのですが、今見ると恥ずかしいぐらいショボいので、Pythonで作りなおしてみました。 長くなったので3行でまとめると Web上に転がっている口コミとか紹介文を Pythonのライブラリを用いて解析することで 好きなラーメン屋に似たラーメン屋を見つける手法を構築した 方法 統計的潜在意味解析という手法を用います。ざっくり言うと、文書がどんなトピックを持っているか、何に関する文書なのか、を推定してくれるものです。 以下の様なイメージで各トピックに割り振られる割合を算出できるため、以下の例ではAとBが近い、ということを計算することが可能です。 ラーメン屋A： [0.75, 0.15, 0.10] ラーメン屋B： [0.60, 0.15, 0.15] ラーメン屋C： [0.0
Doc2Vecとk-meansで教師なしテキスト分類 - Qiita
人間が分類したデータを教師データとしてテキスト分類をしている際に人間がデータの間に介在することによる弊害が出てきたので、教師なしのテキスト分類器を作ってみました。 人間がラベル付けすることによる問題点 階層構造にあるデータを並列にラベル付ける 人によって大きく判断が違ってくるようなラベルをつける 作業開始時点と終了時点でラベルの付け方が変わる 参考資料 コンピュータビジョン最先端ガイド6 (CVIMチュートリアルシリーズ) Deep Learning Tutorials Distributed Representations of Sentences and Documents, Le+, 2014 やったこと Doc2Vecで各文書について他の文書との類似度ベクトルを作成 SVDで次元圧縮 k-meansでクラスタリング k-meansでなくてグラフアルゴリズムで分類した方が良かったな、
TensorFlow Servingで機械学習モデルをプロダクション環境で運用する - freee Developers Hub
こんにちは、freee株式会社でエンジニアをやっている米川（@yonekawa）です。最先端のテクノロジーを使って新しいソリューションを生み出していくことをミッションにした、CTW (Change The World) という役職で働いています。 この記事はfreee Developers Advent Calendar 2017の23日目です。 機械学習ではアルゴリズムや大規模データ処理が注目されがちですが、学習したモデルをどうやってサービスで運用するかも悩ましい問題です。実験やアルゴリズムの検証では強力なツールが揃っているPythonがよく使われるので、そのままPythonでAPI作るケースが多いと思います。しかしプロダクション環境で運用するとなると開発しやすさ以外にも、大量リクエスト時のパフォーマンスやデプロイ、モデルの精度評価やA/Bテストなどさまざまな課題があります。 またfre
tf.nn.conv2d, tf.nn.depthwise_conv2d, tf.nn.separable_conv2dのチャネル数と意味 - Qiita
TensorFlowのconv2d系のレイヤーは以下があります(tf.contribは除く)。 tf.nn.conv2d tf.nn.depthwise_conv2d tf.nn.depthwise_conv2d_native tf.nn.separable_conv2d tf.nn.atrous_conv2d このうちのtf.nn.conv2d, tf.nn.depthwise_conv2d, tf.nn.separable_conv2dがどんなレイヤーなのか、入力とフィルタと出力のチャンネル数について整理します。 説明の簡便のためバッチサイズについては基本的には省略し[H,W,C]のテンソルを念頭に説明します。 ストライドについては説明を省略します。またtf.nn.depthwise_conv2d, tf.nn.separable_conv2dはtf.nn.atrous_conv2dの
各種正則化から転移学習まで。tensorflowソースコードで見るDL性能改善手法 まとめ(ver 2)
最近DL(Deep Learning)の各手法についてtensorflowで実装する場合の実際のコードを聞かれることが多くなってきたので一度まとめておきます。 (10/17/2017 Batch Normalization, Gradient Clipping, ビジュアライズ関連 追加) 下のリストはInside of Deep Learning （ディープラーニングの性能改善手法 一覧）に載せたものです。しかし個人的な経験からも性能改善は一筋縄ではいきません。単に性能の高いモデルを使えば良いといういうわけではなくデータの規模や質によってはシンプルなモデルを使った方が良い時もあります。 ↑ Best より表現力があり問題の処理に適したモデルを利用する より多くのデータあるいはより精度の良いデータを使う パラメータを収束／学習させるための工夫 汎化性能をあげるための工夫 ↓ Better
TensorFlowでAutoencoderを実装してみた - Qiita
きっかけ Autoencoder（自己符号化器）は他のネットワークモデルに比べるとやや地味な存在である．文献「深層学習」（岡谷氏著，講談社）では第５章に登場するが， 自己符号化器とは，目標出力を伴わない，入力だけの訓練データを使った教師なし学習により，データをよく表す特徴を獲得し，ひいてはデータのよい表現方法を得ることを目標とするニューラルネットです．ディープネットの事前学習，すなわちその重みのよい初期値を得る目的にも利用されます． と説明されている．「事前学習」を実施する機会はあまりなさそう，ということでこの章は目を通すにとどめ，次の章，畳込みニューラルネット(CNN)や再帰型ニューラルネット(RNN)の章に進む方も多いと思われる． ただよく調べると，事前学習の他にもAutoencoderの使用目的として以下があるようだ． データ圧縮． データノイズ除去．（Denoising Autoe
TensorFlowで機械学習と戯れる: AutoEncoderを作ってみる - Qiita
はじめに TensorFlowを試す時間ができたので、いろいろ試してみたいと思っています。 サンプルデータが付属していたり、本家のチュートリアルが非常に充実しているので、本当にすぐ試すことができて凄いですね。 今回は、MNISTのデータを使ってAutoEncoderをやってみようと思います。 AutoEncoderに関する情報は既にたくさんありますが、例えば http://vaaaaaanquish.hatenablog.com/entry/2013/12/03/033850 の解説はわかりやすいと思います。 今回はAutoEncoderのアルゴリズム的な追求というより、TensorFlowを使い慣れることを目的としているので、あまり細かいことは気にしてないです(活性化関数とかノイズ入れるとか)。 Version Mac OS: 10.11.1 python 2.7.9 matplotli
Variational Autoencoder徹底解説 - Qiita
とします。これはReconstruction Errorと呼ばれます。入力したデータになるべく近くなるように誤差逆伝播法で重みの更新を行うことで学習することができます。 1-2. Variational Autoencoder(VAE) VAEはこの潜在変数$z$に確率分布、通常$z \sim N(0, 1)$を仮定したところが大きな違いです。通常のオートエンコーダーだと、何かしら潜在変数$z$にデータを押し込めているものの、その構造がどうなっているかはよくわかりません。VAEは、潜在変数$z$を確率分布という構造に押し込めることを可能にします。 イメージは下記です。 まだよくわかりませんね。実際にプログラムを動かしたものを見ると少しイメージが湧くかと思います。 まずは入力と出力を対比させてみます。（これは$z$の次元を20に設定して学習したものです。）ちょっとぼやっとしていますが、元の形
機械学習手法を用いてブログの文章を分析・可視化（テキストマイニング） - karaage. [からあげ]
自分のブログのテキストを分析・可視化してみたい 以前自分のブログの分析を「内部リンク」や「はてブ情報」の観点で行ってみました。 ただ、目的無く分析してしまったので、結局イマイチどう活用してよいかよく分からない結果しか得られませんでした。 そんな前回の反省を全く活かすことなく、また何の目的もなくブログを分析してみることにしました。今回は以前から興味のあった機械学習を用いたブログの文章の分析・可視化（テキストマイニングと呼ばれるらしいです）にチャレンジしてみることにしました。どちらかというとテキストマイニングが主で、使用する素材（学習データ）に困ったので仕方なく自分のブログを使ってみたというのが正直なところです。 ネットでコピペすりゃ簡単にできるだろと思っていたのですが、自分のやりたいことするのはそれなりに大変だったので、知見としてやり方とどんなことが分かるのかを残しておきます。 ブログのテキ
![機械学習手法を用いてブログの文章を分析・可視化（テキストマイニング） - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/53baca70fcdf8a36bdde0cca3f5f5bb458dd6502/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2F39108ba4d9212baac1dbca353b64e95fe71fc61b%2Fbackend%3Dimagemagick%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fk%252Fkaraage%252F20180208%252F20180208010932.png)
ニューラルネットの学習過程の可視化を題材に、Jupyter + Bokeh で動的な描画を行う方法の紹介 [Jupyter Advent Calendar 2017] | LESS IS MORE
ニューラルネットの学習過程の可視化を題材に、Jupyter + Bokeh で動的な描画を行う方法の紹介 [Jupyter Advent Calendar 2017] 前置き Jupyter Advent Calendar 2017 14日目の記事です。この記事は、Jupyter notebookで作成したものをnbconvertでmarkdownに変換し、手で少し修正して作りました。読み物としてはこの記事を、実行するにはノートブックの方を参照していただくのが良いかと思います。 ノートブック (gist) nbviewer 概要 適当なニューラルネットの学習過程の可視化（ロス、正解率の遷移等）を題材にして、Bokehを使って動的にグラフを更新していくことによる可視化の実用例を紹介します。このノートブックの冒頭に、最後まで実行すると得られるグラフ一覧をまとめました。どうやってグラフを作るのか
![ニューラルネットの学習過程の可視化を題材に、Jupyter + Bokeh で動的な描画を行う方法の紹介 [Jupyter Advent Calendar 2017] | LESS IS MORE](https://cdn-ak-scissors.b.st-hatena.com/image/square/30305c278f50a8a35b512fe1c5e02d0b2bf1fe04/height=288;version=1;width=512/https%3A%2F%2Fr9y9.github.io%2Fmedia%2Ficon_hu71488a41e9448d472219f1cc71ecc0ad_259818_512x512_fill_lanczos_center_3.png)
[Python]強化学習(DQN)を実装しながらKerasに慣れる - Qiita
はじめに この記事はいまさらながらに強化学習(DQN)の実装をKerasを使って進めつつ，目的関数のカスタマイズやoptimizerの追加，複数入力など，ちょっとアルゴリズムに手を加えようとした時にハマった点を備忘録として残したものです．そのため，DQNの解説記事というよりも初心者向けKerasTipsになります． 実行環境 Python3.5.2 Keras 1.2.1 tensorflow 0.12.1 DQNとは DQN(DeepQNetwork)がDeepMindから発表されて2年以上経つので，もはやいたる所に解説記事や実装サンプルがあり，ここでの詳しい解説は不要だと思います．が，ざっくり言うと，Q-Learningという強化学習手法のQ関数部分を，深層学習により近似することで、動画像から直接Q値を推定することを可能にした学習手法です． DQNの理論としては ゼロからDeepまで学
![[Python]強化学習(DQN)を実装しながらKerasに慣れる - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/773bd14b547c7947b7dd6fba6003f5d6d71a0135/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEJUU1JUJDJUI3JUU1JThDJTk2JUU1JUFEJUE2JUU3JUJGJTkyJTI4RFFOJTI5JUUzJTgyJTkyJUU1JUFFJTlGJUU4JUEzJTg1JUUzJTgxJTk3JUUzJTgxJUFBJUUzJTgxJThDJUUzJTgyJTg5S2VyYXMlRTMlODElQUIlRTYlODUlQTMlRTMlODIlOEMlRTMlODIlOEImdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPWU2MGY2YjQ3OTUyYzA0ZWE0MzEzYWJiOWQxZTg4OTNm%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB5dWtpQiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MmUzODc2ZTk3MWM5YTdjNGFlYWUzNWZjMDZhMzcxYjQ%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-44OG44Oz44Kv44O8%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3D0275a3de2a5a242ca538cec406289f2c)
Rubias19 porno gratis
porno ordenados por categorías: videos gratis de lesvianas maduras seduciendo jovencitas, video de sexo en traje tipico san marcos, me corro accidentalmente dentro de la novia de mi amigo, videos de fuertes, video de sexo mujer bonita con negro, en el carro yuporn porno, xxxxno se ocogen ala doctora, gang bang maduras, videos de chavos gay violados porno, porno de ana ibon, www ruvias nalgonas por
機械学習で共有スペース利用状況の解析 - Qiita
きっかけ 2017/05/08に僕が勤務するgifteeオフィスが移転しました。 新しいオフィスではソファー席やファミレス席など、 いろいろなタイプの共有スペースが増えました。 https://www.wantedly.com/companies/giftee/post_articles/64703 そこで、どのタイプの共有スペースがどれくらい利用されているか把握したい との要望があがってきたため、利用状況の取得方法について検討することにしました。 検討 利用状況の把握に人感センサーや、感圧センサーなどの使用も候補にあがりましたが、 人感センサーでは人数まではとれなさそうなこと、 感圧センサーでは席ごとにセンサーが必要になってしまうため、 共有スペース毎に定期的に写真を撮影して、そこに写っている人数を計測する方法にしました。 人数解析方法 画像から人数の取得については機械学習フレームワーク
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
seq2seq new API
Simple MNIST Autoencoder in TensorFlow · Gertjan van den Burg
Pythonで動かして学ぶ機械学習入門_予測モデルを作ってみよう
