TensorflowでMNISTデータ認識＋CNN(Convolutional Neural Net)＋学習結果セーブ＆ロード - Qiita
はじめに 今回は非力なマシンで学習をしてる途中を保存→再開→再開→...→テストということを想定したTensorflowのセーブ＆ロード機能を簡単にまとめよう。 ＃ fine-tuningするする詐欺中 ＃ 学習後のパタメータの公開とか、過学習の有無を別のマシンで確認するとか。いろいろ応用可能な便利機能。 個別にセッション中のパラメータを保存する方法もあるが、今回は全部保存する方法に限定する。 前述の通り、Tensorflowのセーブ＆ロード機能である。そのため、保存できるのはTensorflowで宣言できるパラメータのみだ。 個人的に必要なパラメータは個人でpklとか使って保存しよう。 なお、参考にしたサイトはここである。 ＃ 同じことでハマったのでとても助かった。 ソース 実行順序は以下の通り。 （１）mnist_CNN_Graph_adhoc_with_saver.py：このソースで
[TensorFlow] Python ⇔ Protocol Buffers ⇔ GPU/分散コンピューティング - Qiita
はじめに ディープラーニングのフレームワークTensorFlowは各種処理をProtocol Buffers経由で外だしすることで、PythonとGPU／分散コンピュータとのスイッチングを減らし、計算を効率化しています。 Protocol Buffersは、Googleの分散コンピューティングを支える技術で、言語非依存、プラットフォーム非依存にデータ構造をシリアライズする仕組みです。現在、C++, C#, GO, Java, Pythonがサポートされています。 TensorFlowは、処理をノードとしてグラフを構築し、一気に計算する仕組みになっています。 グラフの例 以下TensorFlowのグラフがProtocol Buffers形式にシリアライズされる様子を見てみたいと思います。 サンプルプログラム TensorFlowで足し算をしてみます。 初期値０で加算１を３回実行します。 im
![[TensorFlow] Python ⇔ Protocol Buffers ⇔ GPU/分散コンピューティング - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/3f48ed5d137205d5a0069f17ef0f9b9362408fde/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCVGVuc29yRmxvdyU1RCUyMFB5dGhvbiUyMCVFMiU4NyU5NCUyMFByb3RvY29sJTIwQnVmZmVycyUyMCVFMiU4NyU5NCUyMEdQVSUyRiVFNSU4OCU4NiVFNiU5NSVBMyVFMyU4MiVCMyVFMyU4MyVCMyVFMyU4MyU5NCVFMyU4MyVBNSVFMyU4MyVCQyVFMyU4MyU4NiVFMyU4MiVBMyVFMyU4MyVCMyVFMyU4MiVCMCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MzlkZGEzZTIyYzdlY2QwZDM5YTNlNDM1ZTQ1YTUzMjM%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwaGl0b21hdGFnaSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MGUwMmMwYzgwMjExM2UxNDQwYzM1MjY5NjA3NDMwOGE%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Def43bb86784b9ead3611923c937842d5)
今度こそ分かるTensorFlow - Qiita
タイトルは釣りですw TensorFlowのMNISTチュートリアル(for Beginner)の解説は数あれど、精度をちょろっと出してお終いで、その学習したモデルを使ってどう予測を行えば良いかを書いている記事が見当たらなかったので記事にしてみます。あと、良い入門記事を見つけたので、それも紹介します。 #はじめに読んでおくと良い記事 こちらの連載を読むとTensorFlowの理解が深まるのでまずは読んでおくことを強くお勧めします。 http://www.buildinsider.net/small/booktensorflow/0001 http://msyksphinz.hatenablog.com/entry/2015/11/19/022254 #TensorFlowのMNISTチュートリアル(for Beginner)の解説 こちらの記事が大変分かりやすいです (丸投げ) http:
TensorFlowでキルミーアイコン686枚によるキルミー的アニメ絵分類 - Qiita
（なんでキルミーベイベーってタグがあるんだ…） 前回の投稿で、Ubuntuの環境をつくったので、 TensorFlowのDeep MNIST for Expertsを大体そのまま使ってキルミーベイベーのキャラを判定するコードを書いてみました。 ※TensorFlow公開されたの去年の11月だからもう半年たつんですね… 参考にしたページ 今回使った画像セットは例の686枚です。 http://killmebaby.tv/special_icon.html 全体の方針・キルミーアイコンの分類とかはkill_me_learningの先人である方が書かれたこちらの記事を参考にさせていただきました。 kill_me_learning (4) Labellioを用いたキルミーベイベーアイコン686枚によるキルミーベイベー的画像分類 サンプルネットワークへの画像の変換・入力の方法はこちらを参考にさせてい
TensorFlowを使ってIoTデータを人工知能してみる - Qiita
ここではサンプルのIoTセンサーからのデータを使ってTensorFlowで機械学習し、検知されたセンサーデータからアマチュア/普通/プロの判定をしてみます。 1. TensorFlowを準備します BluemixのDockerコンテナ環境にTensorFlowをインストールするを参照し、Bluemix環境にTensorFlowを準備します 「デプロイ」ステージを構成するステップで、portとして、8888以外に、6006と9000も開けておくようにします 3. Python実行環境にflaskとpandasを入れておきます。flaskはpip istall flaskなどで、pandasはpip install pandasなどでインストール可能です 4. TenserFlowのDockerコンテナのデプロイによりBluemixから提供されるIPアドレスのうち、「パブリックIP」を使用して
AWSのGPUインスタンスでTensorFlowを動かす - Qiita
以下の環境で試したので、インストール時の作業記録を残しておきます。 Mac OS X CPUのみ Amazon web service(AWS) GPUあり なお、TensoFlowはWindowsで動作しません。TensorFlowが採用しているGoogle製のビルドツールBazelが、LinuxとMacのみの対応です。手元にMacかLinuxマシンが無ければ、AWSでUbuntu環境を用意するのが簡単だと思います。 Mac OS X CPUのみで動作するパッケージをインストールしました。最もお手軽です。 スペック MacBook Pro (Retina, 15-inch, Mid 2014) CPU: 2.2 GHz Intel Core i7 メモリ: 16 GB 1600 MHz DDR3 公式ドキュメント通りpipでパッケージを導入。
TensorFlow手書き数字の識別99%のモデルを実際に手書きして試すGUIアプリを作る - Qiita
以下のことについて知りたい人向けの記事。 ①TensorFlowのチュートリアル(Deep MNIST for Experts)を自分の書いた数字で試す方法 ②Windows7だけどLinux(Ubuntu)でTensorFlowの開発をする方法 ーTensorFlowはUbuntuで開発したほうがいろいろ良い点があるなーと思った ・GUI周りがしっかりと作りこまれている ーTensorBoard（グラフの可視化機能）が簡単に使える ーGUIアプリ開発が簡単 ・apt-getで便利なライブラリやツールを簡単にインストールできる ー元々Ubuntuの機能であるだけあってつまづくことが少ない ・Pythonで音を出せる ーこれで音声処理がはかどる ーPyAudioを使う ーWindowのDocker環境で音出すのはあきらめました ーこの機会にWindows7とUbuntuのデュアルブート環境を
TensorFlow & TensorSwiftを使ったiOSアプリの試作 - Qiita
TensorFlowのチュートリアルであるDeep MNIST for Expertsを少しだけ修正して、顔写真の多クラス分類をするiOSアプリを試作してみたのでメモとして残します。 TensorFlowはiOSでも使用することができますが、ライブラリのビルドから行う必要がありますし、Objective C++で開発することになるため少々面倒です。そこで、TensorFlowの学習済みモデルをSwiftで使うことのできるTensorSwiftを使用してみました。開発にあたってはこちらの投稿を参考にさせていただきました。 （**【追記】**iOS側でもTensorFlowを使う場合の開発手順をこちらに書きました） 開発手順 データセットの用意 TensorFlowで学習させる 学習済みのデータ（変数）をTensorSwift用のファイルに書き出す TensorSwiftを使ってアプリを作る
TensorFlow製音楽生成プロジェクト「Magenta」でMIDIファイルを学習させ、曲を生成する。 - Qiita
はじめに この記事では、Magentaの開発環境を準備した上で、手元のMIDIファイルを学習し、曲を作成するということを行います。 magentaのBasic RNNのREADMEの通りですので、そちらを読んでいただいてもよろしいかと思います。 用語等、不明な点もあるため、ご了承いただければと思います。 開発環境の準備はこちらの記事もご参考ください。 TensorFlow製音楽生成プロジェクト「Magenta」を開発環境の設定から曲生成までやってみる。 データセットを作る 手持ちにMIDIファイルを学習する前に、まずはTensorFlowで扱えるように、NoteSequencesという形式に変換する必要があります。 下記のスクリプトを実行します。 不正な形式のMIDIファイルを読み込んだ際にエラーを吐くことがあります。 解析できないMIDIファイルはスキップされるので安心して大丈夫なようで
TensorFlowを試す（線形回帰） - Qiita
import tensorflow as tf import numpy as np # Create 100 phony x, y data points in NumPy, y = x * 0.1 + 0.3 x_data = np.random.rand(100).astype(np.float32) y_data = x_data * 0.1 + 0.3 # Try to find values for W and b that compute y_data = W * x_data + b # (We know that W should be 0.1 and b 0.3, but Tensorflow will # figure that out for us.) W = tf.Variable(tf.random_uniform([1], -1.0, 1.0)) b = tf
TensorFlowによるアイドル顔識別器の話 - 2016.9.28 TensorFlow勉強会 - Qiita
自己紹介 すぎゃーん (id:sugyan) Web系エンジニア ドルヲタ歴5年ちょい TensorFlowで機械学習に入門 (2015.11〜) はてなブログ書いてます すぎゃーんメモ http://memo.sugyan.com/ アジェンダ アイドル顔識別について 学習用データセットの収集・作成 モデルの評価と実験 収集したデータを使った顔画像生成 アイドル顔識別について 問題設定 「入力した画像に対し、写っているのが『どのアイドル(人物)か』を機械学習により自動判定する」 画像内の顔領域検出 こちらは別タスク (Cloud Vision APIなど) 抽出した顔部分の分類 この分類器を作っている、という話 Deep Learning による画像分類 TensorFlowチュートリアルの最初の例 畳み込みニューラルネットワークを使った CIFAR-10 などの画像分類 学習には大量の
python/tensorflow初心者が、jupyter+tensorflow環境を構築してHello Worldする - Qiita
概要 Amazon.co.jp: TensorFlowはじめました 実践！最新Googleマシンラーニング (NextPublishing) 電子書籍: 有山 圭二: Kindleストア をやるにあたって、vimなどを操作しながらだと初心者には辛そうなので、jupyterというノート上で簡単に操作できるようする手順メモです。 (※といっても、途中でターミナル操作入るけどね！） jupyterイメージ画像 JupyterでTensorFlowが使えるDockerイメージ - めもめも というdockerを使った手段が一番手っ取り早いのですが、私のいつも利用してる macbook airは色々しょぼくてmac用dockerを利用すると乙るので、普通にインストールした…というのが背景です 以下簡単な流れです pythonをpyenvを使ってインストール jupyterをインストール(ブラウザ上で
【TensorFlow】TFlearnを利用した日本語のテキスト分類 - Qiita
# -*- coding: UTF-8 -*- import numpy as np from sklearn import metrics import pandas import tensorflow as tf from tensorflow.contrib import learn from sklearn.cross_validation import train_test_split EMBEDDING_SIZE = 20 N_FILTERS = 10 WINDOW_SIZE = 20 FILTER_SHAPE1 = [WINDOW_SIZE, EMBEDDING_SIZE] FILTER_SHAPE2 = [WINDOW_SIZE, N_FILTERS] POOLING_WINDOW = 4 POOLING_STRIDE = 2 N_WORDS = １００００ + 1 # 対
Tensorflow + GPU 環境を nvidia-docker を使って楽に作る (on CentOS 7.2) - Qiita
※Ubuntu版はこちらをご参照ください。 Tensorflow + GPU 環境を nvidia-docker を使って楽に作る (on Ubuntu 17.04) 背景 以前自作GPUマシン上でDeepLearning用の環境を構築したのですが、 GPUのドライバインストール Cuda/Cudnnのインストール DeepLearningライブラリのインストール 動作テスト とステップが多く、ハマると結構インストールに苦労します。 また、Cuda/Cudnn、各ライブラリ共にバージョンアップが頻繁であったり、色々とモジュールを入れているうちに依存関係が壊れてしまったり何かと環境を作り直したくなることも多いです。 簡単に環境を作り直せるようにしたいと思い、NVIDIAが提供しているnvidia-dockerを用いた環境構築の方法を試してみました。 目的 GPUマシン上でのDeepLearn
TensorFlowでニューラル会話モデル - Qiita
以前の記事ではTensorFlowを使って英語から日本語に翻訳するニューラル翻訳モデルを訓練しましたが、今回は最近のチャットボットブームに乗っかって（？）、ニューラル会話モデルを訓練してみました。 環境 環境は以前の記事と同じですが、今回はAWSのスポットインスタンスを使うことでコスト削減を図りました。 TensorFlow 0.9 AWS g2.2xlarge spot instance Ubuntu Server 14.04 Python 3.5 データ ニューラル会話モデルを訓練するためには、発言とその発言に対する返信のテキストデータが必要になります。ここではTwitterのリプライを収集スクリプトを書き、1.3Mほどのツイートと返信先のペアを収集しました。ツイートからユーザ名、ハッシュタグ、URLは削除され、例えば次のようなペアが得られます。 返信先ツイート ツイート
D3で世界地図を描画してみる - Qiita
はじめに 最近になってd3jsを触り始めて楽しさを再認識しました。 世界地図をブラウザでぐりぐりするのが目標です。 開発環境はMacOSです。 最終目標までの道は遠いです。 QGISもnpmだってインストールしてゴリゴリ進めます。 この辺りを大分参考にさせていただきました。 http://www.tam-tam.co.jp/tipsnote/javascript/post6174.html http://y-uti.hatenablog.jp/entry/2014/02/09/071953 http://qiita.com/sawamur@github/items/ec32237bcbaaba94108d http://ja.d3js.node.ws/blocks/mike/map/ http://blog.hitsuji.me/make-topojson-file-and-show-ma
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Bash on Ubuntu on WindowsでTensorFlowを使うためのメモ - Qiita
Tensorflowの精度低下はlog(0)のせいだった - Qiita
TensorFlow製アート・音楽生成プロジェクト「magenta」で曲を作ってみる。 - Qiita
TensorFlowをRaspberryPIにインストールする手順 - Qiita
