How to build a Recurrent Neural Network in TensorFlow (1/7)
Dear reader, This article has been republished at Educaora and has also been open sourced. Unfortunately TensorFlow 2.0 changed the API so it is broken for later versions. Any help to make the tutorials up to date are greatly appreciated. I also recommend you looking into PyTorch. In this tutorial I’ll explain how to build a simple working Recurrent Neural Network in TensorFlow. This is the first
Module: tf.contrib | TensorFlow v1.15.0
Contrib module containing volatile or experimental code. Modules autograph module: This is the legacy module for AutoGraph, kept for backward compatibility. batching module: Ops and modules related to batch. bayesflow module: Ops for representing Bayesian computation. checkpoint module: Tools for working with object-based checkpoints. cloud module: Module for cloud ops. cluster_resolver module: St
tf.nn.dynamic_rnn | TensorFlow v1.15.0
Deploy ML on mobile, microcontrollers and other edge devices
OpenNMT - Open-Source Neural Machine Translation
OpenNMT is an open source ecosystem for neural machine translation and neural sequence learning. Started in December 2016 by the Harvard NLP group and SYSTRAN, the project has since been used in several research and industry applications. It is currently maintained by SYSTRAN and Ubiqus. OpenNMT provides implementations in 2 popular deep learning frameworks:
異空間への埋め込み！Poincare Embeddingsが拓く表現学習の新展開 - ABEJA Tech Blog
ABEJAでResearcherしている白川です。 今回ご紹介するのは、Poincaré Embeddings [1]という手法です。その内容に驚愕し、個人的に調べたり実装したり勉強会でお話したりしていたところ、最近運良く自分の実装をredditで取り上げてもらえたので、これを機にその驚愕の内容を共有できればと思います。 正直、自分の中ではまだ煮詰まりきっていない技術なので、現況の共有はしますが、ところどころ私の憶測や展望、期待が入り混じっていることをご容赦ください。 www.reddit.com Poincaré Embeddingsは大雑把に言えばword2vecを異空間で実現する技術で、双曲空間（Hyperbolic Space）という、おなじみのEuclide空間（2点$x,y$の間の距離を$\sqrt{(x_1 - y_1)^2 + (x_2 - y_2)^2 + ... + (
深層学習による自然言語処理の研究動向
2020/6/11 画像センシングシンポジウム オーガナイズドセッション2 「限られたデータからの深層学習」 https://confit.atlas.jp/guide/event/ssii2020/static/organized#OS2 での招待講演資料です。 コンピュータビジョン分野を中心とした転移学習についての講演です。 パブリックなデータセットも増えていて、物体検出や領域分割などの研究も盛んですが、実際に社会実装しようとするときのデータは学習データと異なる性質（異なるドメイン）のデータである場合も非常に多いです。 本講演では、そのような場合に有効なドメイン適応の原理となるアプローチ2つと応用としての物体検出と領域分割の事例を紹介しています。
Attention Seq2Seqで対話モデルを実装してみた
最近は、深層学習の技術の発展によって、自然言語処理界隈でも深層学習を利用する例で賑わってきている印象です。 今回は上記書籍にも紹介されている、Attention Model + Sequence to Sequence Modelを使った対話モデルをChainerで実装してみました。 系列変換モデル（Sequence to Sequence Model） 自然言語処理の典型的の応用タスクとしては、機械翻訳、文章要約、対話、質問応答、文章分類などがあります。 これらのうち、文章から文章への変換とみなせるタスクを考えてみると、 機械翻訳 = 「翻訳元の言語の文章」から「翻訳先の言語の文章」への変換 対話 = 「相手の発言の文章」から「自分の発言の文章」への変換 質問応答 = 「質問の文章」から「応答の文章」への変換 とみなすことができます。 以上から、これらのタスクは系列から系列への変換を行う
TensorBoard: Embedding Visualization
Deploy ML on mobile, microcontrollers and other edge devices
TensorFlow Tutorial | Sequence-to-Sequence Models
This tutorial: An encoder/decoder connected by attention. While this architecture is somewhat outdated, it is still a very useful project to work through to get a deeper understanding of sequence-to-sequence models and attention mechanisms (before going on to Transformers). This example assumes some knowledge of TensorFlow fundamentals below the level of a Keras layer: Working with tensors directl
Seq2Seq まとめ - higepon blog
以前作った Seq2Seq を利用した chatbot はゆるやかに改良中なのだが、進捗はあまり良くない。学習の待ち時間は長く暇だし、コード自体も拡張性が低い。そういうわけで最新の Tensorflow のバージョンで書き直そうと思って作業を始めた。しかし深掘りしていくと Seq2Seq の詳細を分かっていなかったことが発覚したのでここにまとめる。間違いを見つけたらコメントか @higepon まで。 Seq2Seq のすべてを解説するのではなく、Tensoflow/nmt/README.md のチュートリアルをベースにする。読んだだけでは、理解できなかった部分を補っていく形で進める。 必要とされる前提知識 DNN の基礎。構造、training、 loss とかそういう話。back prop は別に理解できなくても可。 RNN の基礎。RNN が時系列の扱いに向いているとか。RNN の構
Benchmarks | TensorFlow
Deploy ML on mobile, microcontrollers and other edge devices
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - tensorflow/nmt: TensorFlow Neural Machine Translation Tutorial
TensorFlow勉強会（5） TensorFlowを用いた様々なRNNの実装（1）
practical-pytorch/seq2seq-translation/seq2seq-translation.ipynb at master · spro/practical-pytorch
最近のDeep Learning (NLP) 界隈におけるAttention事情
http://www.phontron.com/slides/nlp-programming-ja-13-search.pdf