[TF]Tensorflowの学習パラメータの保存と読み込み方法 - Qiita
# # import # In[1]: import tensorflow as tf import numpy as np from tensorflow.examples.tutorials.mnist import input_data # # load dataset # In[2]: mnist = input_data.read_data_sets("./data/mnist/", one_hot=True) # # build model # In[3]: def mlp(x, output_dim, reuse=False): w1 = tf.get_variable("w1", [x.get_shape()[1], 1024], initializer=tf.random_normal_initializer()) b1 = tf.get_variable("b1", [
![[TF]Tensorflowの学習パラメータの保存と読み込み方法 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/7655592af00974bf377780a8448a8e29e9ce28ef/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTAwNTIzJTJGcHJvZmlsZS1pbWFnZXMlMkYxNDczNzA4MTIwP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPTlmNjVlN2Y3NTE0MGQwZWNmYjAwNzhkMmM3ZDJmMTZj%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D1c718de2b30c00590130a4e7c1781925%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCVEYlNURUZW5zb3JmbG93JUUzJTgxJUFFJUU1JUFEJUE2JUU3JUJGJTkyJUUzJTgzJTkxJUUzJTgzJUE5JUUzJTgzJUExJUUzJTgzJUJDJUUzJTgyJUJGJUUzJTgxJUFFJUU0JUJGJTlEJUU1JUFEJTk4JUUzJTgxJUE4JUU4JUFBJUFEJUUzJTgxJUJGJUU4JUJFJUJDJUUzJTgxJUJGJUU2JTk2JUI5JUU2JUIzJTk1JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9OWE2YTNlYzM2MDM4N2Y5OThkMTliZWIyMTYxZTEzYWE%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBzdXBlcnNhaWFrdWppbiZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTllZGIzOTQ1YThjNDUxMjIwMWZhYTU3YjM2MTYwODI5%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D8dc03aa2ebd65bc9de7f8c82f0bec6b4)
TensorflowでOSXのGPUが対応されたよ - Qiita
#2018/12/16追記 いつの間にかOSXのGPU公式サポートはなくなったみたいなので、それでもGPU使いたい方はこちらのドキュメントが参考になるかもしれません。 Tensorflow 1.6 on macOS High Sierra 10.13.3 with GPU Acceleration (without disabling SIP) #2017/2/17追記 Tensorflow 1.0.0から簡単にインストールできるようになったので公式ドキュメントに従うことをおすすめします。 https://www.tensorflow.org/install/install_mac #cuda8.0 $ brew upgrade $ brew install coreutils $ brew cask install cuda #cuDNN v5.1 Library for OSXをダウン
TensorFlow 大量の画像から学習するには・・・〜(ほぼ)解決編〜 - Qiita
はじめに どうも、ikkiです。ようやく、大量の画像をTensorFlowに食わせるのか、解決しました。 解決してみれば、ホント恥ずかしい内容でしたが。。。 中途半端に理解してのコピペはダメゼッタイ！ 以前までの問題点 こちらで自前で用意した画像を学習するプログラムを掲載したが、このままだと、数万枚の画像データを学習することはできなかった。 というわけで、まずは修正したプログラムを掲載する。 #!/usr/bin/env python # -*- coding: utf-8 -*- import sys import cv2 import numpy as np import tensorflow as tf import tensorflow.python.platform NUM_CLASSES = 3 IMAGE_SIZE = 28 IMAGE_PIXELS = IMAGE_SIZE
TensorFlowで学習したモデルを使ってiOS/Swiftで実行する - Qiita
最近 Qoncept では TensorFlow を使った案件が続いており、その中で TensorFlow を iOS 上で使いたいことがありました。 ぱっと浮かんだ選択肢は次の二つでした。 TensorFlow を iOS 用にビルドして C++ の API を Swift から叩く 学習は TensorFlow / Python で行って、テンソルの計算だけを iOS / Swift でシミュレーションする しかし、前者ついては、まだ TensorFlow を iOS 用にビルドできなさそうでしたしできるようになりました（コメント参照）、たとえできたとしても C++ の API を Swift から叩くのは辛そうです。 TensorFlow がありがたいのは学習時の自動微分等の機能であって、学習済みのモデルを利用するときはただテンソルの計算をしてるだけです。別に学習を iOS 上でやり
Ubuntu 14.04 に Chainer, TensorFlow, DMTK をインストールする (GPU 有効) - Qiita
はじめに ※この記事は word2vec の各種実装の速度比較 の環境構築部分を抜き出したものですが、単体でも読める内容となっています。 機械学習のフレームワークである Chainer, TensorFlow, DMTK (Microsoft Distributed Machine Learning Toolkit) を Ubuntu にインストールします (Mac にインストールする手順 はこちら)。動作環境は NVIDIA 製の GPU が載った Ubuntu マシンで、特に AWS の GPU インスタンスで動かすことを念頭に置いています。 なお、記事中で説明した手順を実行するスクリプトを含むリポジトリはここにあります: https://bitbucket.org/knzm/wordembedding-experiments (CUDA のインストール周りは gist を参照) パッ
ディープラーニングで「顔が似ているAV女優を教えてくれるbot」を構築 - Qiita
概要 Facebook Messenger APIを利用して、 画像をアップロードすると、似ているAV女優を教えてくれるbotを実装しました。 システム構成 Bot応答を行うサーバは諸般の都合によりGo、画像判別はPython(顔検出はOpenCV、分類用の畳込みニューラルネットワークはTensorFlow)で作成しています。 尚、言語間のI/FはgRPCでGoからPythonにRPCを行っています。 実装 Go側 Facebook MessengerからのWebhookを受信して、bot応答を行うWorkerプロセスです。 Messenger Bot Server WebサーバにはGinを利用しています。 難しい事は特にないですが、トラフィックが増えた際、複数のユーザからのメッセージをまとめてWebhookにPOSTする事があるようなので、 エンタープライズで利用するならそのあたりを注意
TensorFlowチュートリアル - 単語のベクトル表現（翻訳） - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? TensorFlowのチュートリアル（Vector Representations of Words） https://www.tensorflow.org/versions/master/tutorials/word2vec/index.html の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 このチュートリアルでは、Mikolov et al. の word2vec モデルを見ていきます。このモデルは、「単語埋め込み」と呼ばれる単語のベクトル表現の学習に使用されます。 ##ハイライト このチュートリアルは、 Tenso
中学生にも分かるTensorFlow入門 その１ テンソルとはなにか - Qiita
目的 このシリーズは中学三年生程度の数学の知識があれば、Python言語の機械学習記述用ライブラリを利用して記述された、基本的な教師あり学習のニューラルネットワークである誤差伝搬型3層ニューラルネットワークのプログラム、つまり、TensorFlowのサイト（TensorFlow.org)上にあるTutorialのMNIST For ML Beginnersの内容をを理解できるということを目的としています テンソルとは何か 早速本題に入り、まずはテンソルということについて考えて行きます ベクトルとスカラー テンソルについて説明する前に、まず、スカラーとベクトルについて説明します スカラーとは大きさです。例えば距離、例えば重さ、そういうものを数学用語でスカラーといいます ベクトルとは大きさと向きがあるものです。座標というものベクトルで考えることができます。それは原点をどこかにとれば、座標への向
【TensorFlowのTutorialをざっくり日本語訳していく】1. MNIST For ML Beginners - Qiita
機械学習初心者のためのMNIST ##はじめに Googleが提供を開始したディープラーニング用のライブラリTensorFlowについて、忘備録ついでに投稿させてもらいます。TensorFlowはTutorialの解説が詳しいので、それを日本語にしてみました。 ・TensorFlowについて-> http://www.tensorflow.org/ ・今回の翻訳原本-> http://www.tensorflow.org/tutorials/mnist/beginners/index.md 生粋の日本人なので違和感のある翻訳もあると思いますが、ご了承ください。 今回のTutorialは岡谷さんの著書「深層学習」の第2章に対応しているので合わせて読むと良いかもしれません。 それでは、今回作成するモデルは Soft max Regressionと言われるモデルです。 ##MNISTデータ MN
DockerとWindowsのフォルダ共有方法 with tensorflow - Qiita
環境：Windows8.1 #【経緯】 http://yaju3d.hatenablog.jp/entry/2016/04/07/011033 上記のサイトを参考にjupyterでtensorflowをいじろうと思いましたが、フォルダ丸ごとのアップロードはできなかったため、 WindowsとDockerを共有すれば簡単にアップロードできるのではないかと思いました。 しかし、なかなかうまくいかず１時間ほど共有に時間がかかってしまったため、 分かりやすい説明をして情報展開できればいいなと考えました。 #【準備】 下記のサイトからWindows版のDockerをダウンロードしてインストールします。 https://www.docker.com/products/docker-toolbox #【フォルダ共有手順】 ①「Docker Quickstart Terminal」を立ち上げます。 ② 「
DeepLearningだ！と意気込んだものの手書き数字認識の後に続かなくなった時に読むデータそのものの話 - Qiita
DeepLearningだ！人工知能だ！機械学習だ！ エンジニアとしての意気込みと、 なんだかすごいことが出来そうだな！という上司の後押しを一身に受け、 深層学習本やQiita記事を流し読み、 TensorFlowやChainerを導入して、 チュートリアルの写経で徳を積んで、 ゲームに使っていたGPUも学習という大義名分のもとフル稼働させた、、、 Accuracy 99.23% 今回は、MNISTやIRISを99%超で識別するエンジンを実装して満足してしまったエンジニアが MNISTを脱却するためにMNISTを知るための話 おなじみ、「MNIST」がつまりどんなデータなのか？ 28行28列の画像→正しいが今はそこではない。 データセットとしては、70000行784列、 70000はサンプル数、784は28*28をベクトルに直した時の次元数。 行に解析したいデータ総数、列に解析したいデータ
TensorFlowチュートリアル - ML初心者のためのMNIST（翻訳） - Qiita
TensorFlowのチュートリアル（MNIST For ML Beginners） https://www.tensorflow.org/versions/master/tutorials/mnist/beginners の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 このチュートリアルは、機械学習と TensorFlow に不慣れな読者を対象とします。MNIST が何であるか、ソフトマックス（多項ロジスティック）回帰が何であるかを知っている場合は、よりテンポの速いチュートリアルを好むかもしれません。チュートリアルを開始する前にTensorFlow をインストールしてください。 プログラミングを学ぶとき、最初に「Hello World.」をプリントするという伝統があります。 プログラミングには Hello World があるように、機械学習には MNIST があります。 M
機械学習を使った株価予想（回帰編） - Qiita
以前（1,2,3）からの続き物。 分類ばかりでは面白くないので、回帰問題を試したい。 というわけで、今回は機械学習のフレームワークTensorFlowやscikit-learnを使用して株価を直接予想するという遊び。前は翌日の株価が「上がる or 下がる」の2択の分類でしたが、今回は「何円か」を直接予想します。 なお、入力に使うデータは使い回しです。毎回スミマセン。 ##趣旨 TensorFlowやscikit-learnを使用して、株価の予想をしてみる。 精度や使用感を確認する。 ##やること 「数日分の世界中の株価指数（ダウ、日経平均、DAXなど）を使用して、次の日の日経平均株価を予想する」（回帰） ##環境 ###scikit-learn scikit-learn 0.17.1 Python 2.7 Windows 7 ###TensorFlow TensorFlow 0.7 Ubu
知識ゼロからTensorFlowを使った機械学習で人工知能を作るー入門編１ - Qiita
TensorFlow TensorFlowはGoogleがオープンソースとして公開した機械学習のライブラリ。 www.tensorflow.org ここしばらく機械学習の本読んで、TensorFlow触りまくって出した結論はこれ。 TensorFlowは機械学習の初心者がスグにカンタンに使えるモノではない TensorFlowを使えば機械学習の概念をそのまま直感的にコードに落としこむことができる。ただ、そのためには機械学習の理論を予め知っておくことが必要。「ニューラル・ネットワーク」とか「構造パターンマイニング」とかの用語が分からないといちいちそこで手を止めて、調べる必要が出てくる。 ただ数学好きであれば、全てが数式で表現される世界が妙に楽しい。アルゴリズムや使い方さえ分かれば、かなりのレベルで面白いモノが実装できることは確かだ。 TensorFlowのインストール（MacOS編） まーこ
TensorFlowチュートリアル - 畳み込みニューラルネットワーク（翻訳） - Qiita
TensorFlow のチュートリアル（Convolutional Neural Networks） http://www.tensorflow.org/tutorials/deep_cnn/index.html#convolutional-neural-networks の翻訳です。 翻訳の誤りなどあればご指摘お待ちしております。 注：このチュートリアルは TensorFlow の上級ユーザーを対象としており、機械学習の専門知識と経験を前提としています。 ##概説 CIFAR-10 分類は、機械学習における一般的なベンチマーク問題です。問題は、RGB 32×32 ピクセルの画像を10カテゴリーに分類するものです：飛行機、自動車、鳥、猫、鹿、犬、カエル、馬、船、およびトラック 詳細については CIFAR-10ページ と Alex Krizhevsky による技術レポートを参照してください。
TensorFlow AdamOptimizerが収束しないエラー？ ReluGrad input is not finite. : Tensor had NaN values - Qiita
I tensorflow/core/common_runtime/local_device.cc:25] Local device intra op parallelism threads: 12 I tensorflow/core/common_runtime/gpu/gpu_init.cc:88] Found device 0 with properties: name: GeForce GTX TITAN X major: 5 minor: 2 memoryClockRate (GHz) 1.076 pciBusID 0000:05:00.0 Total memory: 11.99GiB Free memory: 11.69GiB I tensorflow/core/common_runtime/gpu/gpu_init.cc:112] DMA: 0 I tensorflow/cor
Tensorflowを２ヶ月触ったので"手書きひらがな"の識別95.04%で畳み込みニューラルネットワークをわかりやすく解説 - Qiita
どうも、データセットの用意でバイナリーとの戦いを5時間繰り広げたあげく、記事に１日かかりました。丁寧に記事書くって大変ですね。うふふっ☆ 前回: 特にプログラマーでもデータサイエンティストでもないけど、Tensorflowを1ヶ月触ったので超分かりやすく解説 に続き、MNISTのエキスパート編を解説しようと思ったのですが、せっかくなので数字ではなくひらがなデータセット計71文字を識別していくなかで**"畳み込みニューラルネットワーク"の解説をしたいと思います。 英語ではConvolutional Neural Networkなので以下CNN**と呼びます コードはほぼTensorflowのチュートリアルエキスパート編のものですので、そちらを見てからだとよりわかりやすいかと。 #1: データセット 産総研(AIST)の公開しているETL手書き文字データベースからいただきました。(旧:電総研の
TensorFlowで機械学習と戯れる: LSTMでユーザの行動を予測するモデルを作る実験 - Qiita
はじめに LSTM(Long Short Term Memory) は時系列データの学習によく用いられているものです。 わかるLSTM ～ 最近の動向と共にの記事がとても詳細に説明されています。 上記でも解説されていますが、LSTMは例えば「今までの単語列を入力として、もっともらしい次の単語を予測する」というような「文章の生成」に使うことができます。 このLSTMを使って、例えば、Webサービスにアクセスする 「ユーザの行動」を「単語」 とみなせば 「ユーザの一連の行動」は「文章」 とみなせるわけで、 **「こういう行動を取ってきた人は、次にこういう行動を行う」**という予測モデルが作れないかと考えました。 この予測モデルが作れれば、あとは文章生成のような形で 行動生成 ができます。つまり、ある種の ユーザ行動のシミュレーション ができることになります。 ユーザがある程度アクセスすれば、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【TensorFlowのTutorialをざっくり日本語訳していく】2. Deep MNIST For Experts - Qiita
TensorFlowのAPIメモ（Python） - Qiita
