自然言語処理におけるword2vecや画像処理におけるInceptionなど、一般的に広く用いられているモデルを上流で用いる事は多くあります。汎用的な知識を扱えるメリットがある一方、学習には大量のデータセットの準備と膨大な学習時間がかかってしまいます。 この問題に対して、あらかじめ学習させた状態のモデル(事前学習済みモデル)を用意しておき上流に転移させる方法があります。本記事ではその事前学習済みモデルについて、Googleが提供するのライブラリであるTensorFlow Hubを紹介します。 TensorFlow HubはGoogleの大量リソースを用いて学習したモデルを手軽に実装できるほか、自作したモデルを別環境で利用しやすいように自作することも可能です。本記事では概要と特徴、利用方法を紹介します。 今回説明するTensorFlow Hubの利用方法、作成方法について実験したコードはGi

TensorFlowのtf.Variable型は主にネットワークの重みやバイアスを保持しておくために利用されますが、これを使ってデータ構造のキュー(Queue, 待ち行列)を作ることもできます。このような使い方があることは、PixelCNNの生成過程を高速化したRamachandran氏のFast PixelCNN++のコードを読んでいて知りました。変数は初期化かOptimizerによる更新以外では値を変えるものではないと思っていた僕には目から鱗でした。 以下が、自分で試してみたコードになります。TensorFlowはバージョン1.5を使いました。delay関数で長さ3のキューと、それの先頭から要素をポップするオペレータを定義しています。 import tensorflow as tf import numpy as np def delay(x, n=3): queue = tf.Var

Hello, everyone! 今日はTensorFlow公式チュートリアルを参考にしてMinecraftのバイオーム16種を識別させるよ！ 前準備・予備知識 私はWindows機にUbuntuの仮想環境を突っ込んで動かしていますが、 その辺の周辺環境の話は一旦おいておきます。これは後々記事にしましょう。 まずは今回TensorFlowで設計する畳み込みニューラルネットワーク(Convolutional Neural Network, 通称"CNN")と、これで識別するMinecraftのバイオームがどのようなものかを説明していきます。 畳み込みニューラルネットワーク(CNN) CNNでは2次元上の特徴抽出を行うことが最大の特徴で、画像認識の分野で広く使われています。 対して、おそらく最も知られているニューラルネットワークの多層パーセプトロンでは入力は1次元として扱われます。 今回設計す

はじめに if文 一方の値を返す関数 一方の関数を返す関数 実用上の形式 バッチデータごとにif文の判定を変える はじめに TensorFlowを使いこなすためには、TensorFlowの勉強をする必要があります。 TensorFlowではPythonで計算グラフを構築しておき、あとの演算処理はTensorFlow（C++）に任せることになります。演算処理の部分にPythonの制御構造(for文やif文)を入れることはできないため、制御構造を持つ計算グラフそれ自体を作ってやる必要が出てきます。 今回はTensorFlowの計算グラフに制御構造を入れる２つの関数を紹介します。 if文 TensorFlowの計算グラフにif文を入れるためには「tf.cond」を使います。tf.condの使い方を見る前に、これと同じ動作をするPythonのプログラム例を見ましょう。 一方の値を返す関数 def

TensorFlowのためのGPU環境をGCPのGoogle Compute Engine (GCE)で構築するには、 GPUの割り当て申請（初回のみ。所要時間は約5分） CUDAやcuDNNをインストール（NVIDIAのサイトからダウンロードしたりインストールしたりなんだりでスゲー時間かかって面倒） TensorFlowをインストール（所要時間は約5分） って手順が必要。しかし最近、Cloud DatalabのGPUインスタンスが利用可能になったおかげで、この手順がぐんと簡単になった。 GPUの割り当て申請（初回のみ。所要時間は約5分） Cloud Datalabインスタンスを作成（コマンド一発、待ち時間は15分ほど） これでOK。DatalabインスタンスにはTensorFlowだけじゃなくて、scikit-learnとかpandas、matplotlib等の定番ツールも入ってるので、

TensorFlowの計算グラフのメリット tf.Variableの作成方法 tf.Variable params: returns: tf.get_variable 変数の使い回し方 スコープ tf.variable_scope tf.name_scope 変数の再利用 変数の種類 まとめ TensorFlowの変数の扱い方は、一般的なプログラミング言語の変数とは随分異なります。TensorFlowや計算グラフを使用したディープラーニングライブラリを使い始めの方は、慣れるのに時間がかかるかもしれません。 本記事では、TensorFlowの変数の使い方に焦点を当てて、 計算グラフのメリット 変数の初期化方法 変数の使い回し方 スコープの切り方 変数の種類 について詳しく見ていきます。TensorFlowの変数を使いこなせるようになると、独自のロジックも組むことが出来るようになります。 Te

自分用のメモ／学習を兼ねて、TensorFlow の RNN のチュートリアルを一行ずつみながらやってみる。 LSTM とはなんぞや、とか、そもそもの TensorFlow の使い方とかは、チュートリアル中にあるので割愛。 チュートリアルで用いているコードの内容の解説だけをおこなう。 コードのインデントが2で気持ち悪いとか、この関数 deprecated なんだけど💢といった苦情は Google 社へお願い致します。 対象としているチュートリアルは、 Language and Sequemce Processing の下にある、Recurrent Neural Networks というページ。 データ準備 まずはチュートリアル中で使用するデータ／コードのDLから。 コード TensorFlow 本体にはチュートリアルのコードが一部しか含まれていないため、別途DLが必要。 TensorFl

このブログは、株式会社フィックスターズのエンジニアが、あらゆるテーマについて自由に書いているブログです。 遠藤です。 ニューラルネット界隈では、Caffe、TensorFlow、Chainer をはじめ、数々のフレームワークが群雄割拠の様相を呈しております。弊社でも、プロジェクトに応じて適宜フレームワークを使い分け、日々の業務にあたっております。 多数のフレームワークを扱っていると「あっちのフレームワークで学習したモデルを、こっちのフレームワークで使いたい！」といった、フレームワーク間をまたいでモデルを共有したいというニーズが出てきます。そのために、フレームワーク間で共通して使える交換フォーマットが開発されるようになりました。 そこで、今回はニューラルネットの共通フォーマットとして NNEF と ONNX の2つをご紹介したいと思います。 NNEF とは？ 概要 NNEF – Neural

TensorFlow で ptb を学習させるサンプルは Recurrent Neural Networks チュートリアルに記載されている通り、 github からソースを落としてきて、tensorflow/models/rnn/ptb に移動し、ptb_word_lm.py を動かすだけで簡単に動作させることができます。 ただし残念なことに、サンプルコードをぱっと見ただけで使い方を理解するのは相変わらずなかなか難しいです。API にのっていないクラスや関数が使われたり、RNN 特有の処理がさくっと書かれているため、サンプルとしてまあ不親切なわけです。 そこで今回も前回の DNN と同様、自己流にサンプルを書き直して使い方を確認してみました。書き直したコードを動作させてみて、だいたい元のコードと同じような性能が出ていそうなので、ざっくりと解説をしてみようと思います。 いつもどおり完成コー

TensorFlowで学習プロセスを分ける際，変数のsave/restoreが必要になるが，これはTensorFlowでは tf.train.Saver クラスがサポートしている．モデルのスケールが小さければ使用する変数全部をsave/restoreしてもよいが，モデルが大きくなると本当に必要な変数だけをsave/restoreしたくなってくる． 本記事では，手書き数字分類MNISTを例に，変数のsave/restore方法について確認していく． （環境は，Python 2.7.11, tensorflow 0.8.0 になります．） 必要な変数にtrainable=Trueをつける 何が必要かについてはプログラムの内容によっていろいろな状況が考えられる．一番簡単なのは，使った変数全体（tf.Variableクラス変数）をsaveするやり方である． chkpt_file = '../MNI

イントロ これは、TensorFlow Advent Calendar 2016 の9日目の記事です． 2015年の11月に公開されたTensorFlowですが，公開当初から「名前空間」の機能がサポートされていました．これはTensorBoardによるグラフ視覚化において使われますが，もちろんそのためだけにあるわけではありません．名前空間は，識別子の管理に非常に有効です．強力な「名前空間」サポートというとC++を思い出しますが，C++の教則本（独習C++）から引用します． 名前空間(namespace)の目的は識別子の名前を局所化し，名前の競合を避けることです．C++のプログラミング環境では，変数，関数，クラスの名前が急増を続けてきました．名前空間が登場する前は，これらのすべての名前がグローバルな名前空間の中で場所を取り合い，多くの競合が発生していました． 一方，Pythonの変数スコープ

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert