はてなブックマーク

あゆたでデータサイエンティストとして働く佐々木です。 今回は LSTM を用いて正弦波の予測をしてみます。 正弦波のように明確な規則性のある時系列データは、LSTM で予測を行うのに向いているテーマだと言えます。そのため、LSTM の原理や実装を理解するための練習問題としては都合がいいんじゃないでしょうか。 LSTM とは ディープラーニングで時系列データの学習を行う際に有効なものとして、 ニューラルネットワークを時間方向に展開した RNN (Recurrent newral network) があります。 しかし、従来の RNN では勾配消失問題があり、長期間の時間依存性が保持されないという問題点がありました。LSTM は勾配消失問題を解決するために改良された RNN の一種で、自然言語処理・機械翻訳などの分野で成果を上げています。ちなみに LSTM は Long Short Term

あゆたでデータサイエンティストとして働く佐々木です。 今回は LSTM を用いて正弦波の予測をしてみます。 正弦波のように明確な規則性のある時系列データは、LSTM で予測を行うのに向いているテーマだと言えます。そのため、LSTM の原理や実装を理解するための練習問題としては都合がいいんじゃないでしょうか。 LSTM とは ディープラーニングで時系列データの学習を行う際に有効なものとして、 ニューラルネットワークを時間方向に展開した RNN (Recurrent newral network) があります。 しかし、従来の RNN では勾配消失問題があり、長期間の時間依存性が保持されないという問題点がありました。LSTM は勾配消失問題を解決するために改良された RNN の一種で、自然言語処理・機械翻訳などの分野で成果を上げています。ちなみに LSTM は Long Short Term

あゆたディープラーニング担当の佐々木です。 今日は TensorFlow でモデルにデータを入れる手法についてまとめてみます。 パフォーマンスに関する本家の記事曰く、 チュートリアル等々で用いられている定番の feed_dict を使う手法だと、モデルの計算量やデータのサイズ次第では GPU を 活かしきれない事態になるそうです。(GPU の使用率がやたら低くなる) 原因としては、 CPU -> GPU 間のデータ転送が遅いことにあるようで、 次のデータが来る前に計算が終わってしまい、GPU が暇を持て余した状態になる場合があるようです。 そこで今回は Queue を用いてデータの転送を行う手法を実装してみます。 といっても先に結論を言ってしまうと、MNIST Expert ではどの手法でも GPU の 使用率は同じくらいだったので、場合によるのかなと。 CNN のようにもともと計算量の多

どうも ASTRONEER を無線接続でやっているとたくさんあるバグが更に増え、我慢できず有線接続にした結果、家の端から端までLANケーブルをはわせることになった和田です。 最近、 Google Apps Script を触っています。 ご存じの方もいるかと思いますが「なんぞや」というのをざっくり説明しますと、 MSOffice に付属する VBA の、 Google Docs 版といった感じです。 MSOffice の VBA のように、定型化した作業や大量のデータを扱う場合などにとても便利に使えるすごいやつです。こんなのがウェブで使えるようになったなんてすごい時代だ。 今回はVBAから連想されるような大量の処理を行う方法ではなく、処理後のデータをCSVなどにして書き出す場合の処理を紹介したいと思います。書き出し先は Google Drive になります。以下、概要です。 Google

あゆた深層学習担当の佐々木です。 深層学習と言えば GPU！GPU と言えば、最近はクラウド上でハイスペックなマシンが使用できるサービスが流行っていますね！！この分野では AWS が有名な印象なのですが、先日2017年2月21日に Google Cloud Platform でも GPU インスタンスの使用が可能になったと！アナウンスがありました。 という訳で今回は GCP で GPU インスタンスの作成を行ってみたので、メモ的な意味で記事を残しておこうと思います。さて、GCP で GPU が使用可能になったと言っても、この記事を書いている今日(2017年3月8日)の時点ではコンソールでポチポチやるだけでは GPU 付きのインスタンスを作成できない仕様になっています。また、GPU 付きのインスタンス作成のためにはいくつか制限事項などもあるので、備忘録として必要な情報をまとめておこうと思いま