Help us understand the problem. What is going on with this article?
【要約】 TensorFlowは,データフローグラフを特徴とするPythonパッケージであり,CPU,GPU,Google TPU上で動作する.Windows環境でTensorFlow GPU版をインストールし,動作を確認する手順は次の通りである.初めに,最新のNVIDIAドライバとBuild Tools for Visual Studioを準備する.さらに,NVIDIA CUDAツールキット11とPythonのインストールが必要である.既にTensorFlowや関連パッケージがインストールされている場合は,問題を回避するためにアンインストールを行う.その後,pipを用いてTensorFlow(推奨バージョン2.10)をインストールする.インストールの成功は,バージョン番号の表示とGPUの認識によって確認する.さらに,「Hello, TensorFlow!」と表示するサンプルプログラムや,
Are you curious to explore the world of Artificial Intelligence and Computer Vision but don’t exactly know where to begin? Your search ends right here. You will learn and get exposed to a wide range of exciting topics like Image & Video Manipulation, Image Enhancement, Filtering, Edge Detection, Object Detection and Tracking, Face Detection and the OpenCV Deep Learning Module.
ImageDataGenerator ImageDataGeneratorクラス keras.preprocessing.image.ImageDataGenerator(featurewise_center=False, samplewise_center=False, featurewise_std_normalization=False, samplewise_std_normalization=False, zca_whitening=False, zca_epsilon=1e-06, rotation_range=0.0, width_shift_range=0.0, height_shift_range=0.0, brightness_range=None, shear_range=0.0, zoom_range=0.0, channel_shift_range=0.0, fi
仕事上でわかったことのうち顧客に関わる情報が無い物、一般公開して差し障りのなさそうな事をたまーに投稿しています。 ちなみに、記事上に載せた私が書いたコードは、用途問わず再利用いただいてかまいませんが、保障は一切いたしませんので、あしからず。 ですます調の記事とである調の記事が混ざりますが..こちらも、あしからず。 TensofFlowを勉強している私に 簡単にコードが書ける Kersa というものがあり、 TensorFlowをラップしているらしいよ と教えてくれる人がいたので Kerasの概要を勉強してみた。 TensorFlow のときとは違って既に日本語化ドキュメントが 用意されており、 6~7割TensorFlowサイトをGoogle翻訳して読んでいたので サクリと読むことができた。 TensorFlowのAPIをラップしたライブラリなので 基本機械学習フレームワークであるのだけど
300 lines of python code to demonstrate DDPG with Keras Overview This is the second blog posts on the reinforcement learning. In this project we will demonstrate how to use the Deep Deterministic Policy Gradient algorithm (DDPG) with Keras together to play TORCS (The Open Racing Car Simulator), a very interesting AI racing game and research platform. Installation Dependencies: Python 2.7 Keras 1.1
入門 Keras (5) 学習済みモデルと Flask で API サービスを作る 連載一覧 入門 Keras (1) Windows に Tensorflow と Keras をセットアップ 入門 Keras (2) パーセプトロンとロジスティック回帰 入門 Keras (3) 線形分離と多層パーセプトロン 入門 Keras (4) 多クラス分類 – Iris データを学習する 入門 Keras (5) 学習済みモデルと Flask で API サービスを作る 第5回は毛色を変えて、学習済みのモデルと Python の Flask フレームワークを使って、簡易的な API サービスを構築します。 まだまだディープラーニングの入り口をちょっと覗いただけですが、せっかくニューラルネットに学習させることが出来るようになりましたので、自分の PC 上の Jupyter Notebook で正解/
ここでは、Python2.7.6 で行なっています。また、主に以下のパッケージを利用しています。 Keras (2.0.4) tensorflow (1.1.0) はじめに kerasでCNNにチャレンジしてみました。例題のデータセットだけだと面白くないので、自分で拾ってきた画像をCNNで分類しました。 ここではCNNの理論的な部分はある程度わかっている前提で、処理の部分に焦点を当てています。 分析環境は、AWSのEC2を利用。 なお、画像に関しては必要な部分の切り出しを行なった上で実行しています。 (私はOpenCVで行いました) 分析環境について TensorFlowをGPUで動くよう、環境を構築したかったのですが初心者には難しく… AWSですでに環境が構築されているAMI(Bitfusion Ubuntu 14 TensorFlow)があったので、こちらを利用しています。 必要なパッ
Hyperparameter optimization is a big part of deep learning. The reason is that neural networks are notoriously difficult to configure, and a lot of parameters need to be set. On top of that, individual models can be very slow to train. In this post, you will discover how to use the grid search capability from the scikit-learn Python machine learning library to tune the hyperparameters of Keras’s d
学習済みモデルが使えるとは言え、それはあくまでも、ImageNetと呼ばれる大規模な画像データセットを学習したものです。そのため、分類したい画像のカテゴリーが、ImageNetの中に含まれていない場合も十分あり得ます。例えば、今回のような白血球の画像などはImageNetには含まれていません。 また、ImageNetでは1000種類に分類するため、上に挙げた学習済みモデルの出力層のユニット数は1000に設定されています。しかし、今回は3種類の白血球を分類したいので出力層のユニット数は3に変更する必要があります。 このような内容をふまえると、学習済みモデルの重みをそのまま用いるのではなく、部分的にそれらを初期値として用い、分類したい画像データに合わせて細かく再調整(チューニング)して学習させることが理想的です。この手法はFine-tuningと呼ばれ、今回のような100枚に満たないような少な
Visualization of 2D manifold of MNIST digits (left) and the representation of digits in latent space colored according to their digit labels (right). Keras is awesome. It is a very well-designed library that clearly abides by its guiding principles of modularity and extensibility, enabling us to easily assemble powerful, complex models from primitive building blocks. This has been demonstrated in
最近流行りのハイパーパラメータチューニング 先日(2018年12月3日)、僕のTwitterのタイムラインに下のツイートが流れてきました。ハイパーパラメータを自動で最適化してくれるフレームワークOptuna。 なんだこれ! https://t.co/3qhuwMVxAc — Takuya Akiba (@iwiwi) 2018年12月3日 普段地道にハイパーパラメータを調節している僕はすぐにOptunaについて調べました。 これは使わねばならん!!! そう確信したのですが、残念ながら現在行なっている大学の研究ではkerasでかなり実装を進めてしまっていました。そこで、hyperasというkerasユーザーに優しいハイパーパラメータチューニングのライブラリを使ってみることにしました。 インストール 以上。 (僕はこれでいけた) (他の方法は自分で調べてくれい) チュートリアル 公式GitのR
In today’s blog post we are going to create a deep learning REST API that wraps a Keras model in an efficient, scalable manner. Our Keras + deep learning REST API will be capable of batch processing images, scaling to multiple machines (including multiple web servers and Redis instances), and round-robin scheduling when placed behind a load balancer. To accomplish this we will be using: Keras Redi
Explore and run machine learning code with Kaggle Notebooks | Using data from PLAsTiCC Astronomical Classification
背景 今更ながらGrad-CAMとGuided Grad-CAMを使う機会があったので、Keras実装のメジャーっぽいリポジトリを改造して利用したのですが、結構詰まりポイントが多かったので(私だけ?)復習もかねてソースコードを解説しようと思います。 そもそもGrad-CAM, Guided Grad-CAMとは? 簡単に言ってしまうと、CNNの判断根拠の可視化技術になります。 私は可視化については完全にビギナーなのですが、そんな私でも知ってるぐらい可視化の中ではメジャーどころなのではないでしょうか。 論文は2017に出されているので、おそらく発展手法(Grad-CAM++とか?)も沢山出ているとは思いますが、ビギナーなので情報の充実しているGrad-CAMを今回は使ってみました。 Grad-CAMの論文 見たことがあるかも知れませんがこちらがGrad-CAMとGuided Grad-CAM
SpatialDropoutは、画像認識の分野でTompsonらによって提案されたドロップアウト方法です。通常のドロップアウトが各要素を独立して落とすのに対して、SpatialDropoutはある領域全体をまるごと落とします。それにより、画像認識の分野で性能向上が報告されています。 本記事では、KerasにおけるSpatialDropoutの動作について理解を深めることを目的としています。KerasにはSpatialDropout1D、SpatialDropout2D、SpatialDropout3Dの3種類がありますが、本記事ではSpatialDropout1Dの動作を確認します。 はじめに、SpatialDropout1Dの入出力について確認しておきましょう。SpatialDropout1Dの入力は3次元のテンソル(samples, timesteps, channels)です。出力は
こんにちは。アドバンストテクノロジー部のR&Dチーム所属岩原です。 今回はKerasで複数のGPUを使う方法を書きたいと思います。 Keras 2.0.9から簡単に複数GPUを使用した高速化が可能に。 Keras2.0.9からtraining_utilsというモジュールにmulti_gpu_modelという関数が追加されました。 コレを使うと、学習を複数のGPUで行わせることが可能になります。 inputをGPUの数だけ分割することによって、並列化を実現しているようです。 keras/training_utils.py at master · keras-team/keras では、実際に試してみましょう。 環境 AWS EC2(p2.8xlarge) -> GPU8本 Deep Learning Base AMI (Ubuntu) Version 2.0 (ami-041db87c) -
Keras : コード解説 : IMDB 感情分析 using Embedding, LSTM 層 * Keras GitHub の サンプル の幾つかの imdb_*.py スクリプト・ベースの snippets。 IMDB 感情分析 using Embedding, LSTM 層 アマゾンが提供している、 インターネット・ムービー・データベース という映画・TV ドラマの情報配信サイトのレビューを使用した感情分析モデルの実装です。 幾つかのモデルが用意されていて、Embedding(埋め込み)層、 LSTM 層 そして畳み込み層を混在させて使います。 インポート from __future__ import print_function import numpy as np np.random.seed(1337) # for reproducibility from keras.p
対象読者 Tensorboardを使っている人 おまけ Kerasに関する書籍を翻訳しました。画像識別、画像生成、自然言語処理、時系列予測、強化学習まで幅広くカバーしています。 直感 Deep Learning ―Python×Kerasでアイデアを形にするレシピ Tensorboardとは モデルの値を確認する可視化ツールであり、日々確認できる項目が増えています。 これを使いこなせると機械学習エンジニアの仕事がスムーズになると思います。 この記事で紹介するTensorboardの機能 SCALARS: ロスや精度などの学習中の挙動を確認するために使用 IMAGES:各層の重みやバイアスの遷移が確認できる GRAPHS:モデルの構成を確認するために使用 DISTRIBUTIONS:各層の値の分布 HISTOGRAMS:各層の重みのヒストグラム PROJECTOR:識別などで潜在空間が適切に
This is a guest post by Adrian Rosebrock. Adrian is the author of PyImageSearch.com, a blog about computer vision and deep learning. Adrian recently finished authoring Deep Learning for Computer Vision with Python, a new book on deep learning for computer vision and image recognition using Keras. In this tutorial, we will present a simple method to take a Keras model and deploy it as a REST API. T
Cloud ML Engine のruntime versionが1.2になったので、Kerasが小細工なしで使えるようになりました。TensorFlowの高レベルAPIもいい感じになって来ていますが、やはりKerasのpretrained modelの多さは魅力的です。とりあえずやり方だけ把握しておこうと、せっかくなので学習だけでなくOnline PredictionもKerasモデルでserveしてみました。 Cloud ML Engineとは TensorFlowのフルマネージドな実行環境です。分散環境で学習、オートスケールしAPIで推論リクエスト可能なOnline Prediction等、TensorFlowの運用には最高の環境です。 KerasをCloud ML Engine(training)で使う 注意するのは、 Kerasのimportをtf.contribからする job
tensorflow.js で遊んでたら keras でモデルを作って import してみましょうみたいな章に差し掛かったので、python の環境構築した。 TensorFlow.js tutorials - import-keras 環境構築 keras ついでに pyre を試してみたいので、 pyre で keras が書ける、というところをゴールにした。 pipenv は ruby の bundler みたいな体験を目指して入れてみた。 ググってみると Mac で Anaconda は地雷みたいな意見が多かったので、とりあえず homebrew から pyenv と pipenv を入れて、pyenv から python を管理することにした。 brew install pyenv brew install pipenv .bash_profile などに環境変数の設定 exp
最近機械学習はじめたので、内部向けに勉強会を開催しました。 その際の資料を共有します。(寄せ集めです(汗)) 目的 機械学習の敷居を下げ、機械学習をはじめてもらう! kerasのソースベースなので、とりあえず動かせる(はず) 進め方 keras説明(2分) kerasインストール(2分) 実装&理論(30分) 質問時間(10分) 参考資料の共有(6分) keras説明(2分) TensorFlowやTheanoのラッパー。超簡単に機械学習ができる! 参考 Python製深層学習ライブラリ「Keras」の紹介 (with TensorFlow):http://amacbee.hatenablog.com/entry/2015/12/02/220414 keras github:https://github.com/fchollet/keras-resources Keras/Tensorfl
As humans, our brains can easily read a piece of text and extract the topic, tone, and sentiment. Up until just a few years ago, teaching a computer to do the same thing required extensive machine learning expertise and access to powerful computing resources. Now, frameworks like TensorFlow are helping to simplify the process of building machine learning models, and making it more accessible to de
前回,GANを勉強して実装したので、その取り組みの続きとして、 DCGAN(Deep Convolutional GAN(DCGAN)を実装して遊んでみる。 生成結果はこのようになった。 (2017/9/7 追記) DCGANの論文を読んでみたところ、GANの論文よりも読みやすかった。 またGANのときには省略されていたモデルの構造も書かれていたため実装の難易度が低かった。 (DCGAN著者の実装も公開されているため,パラメータを参考にすることもできる) DCGANの肝は以下の三点だ(と論文で触れられている) deterministicなpooling手法の代わりに、 fractionally-stridedを使っている こと。これにより、ネットワークが自身のdownsamplingを学習可能となった。 全結合層を使っていない こと。convolutional featuresを入力層と出
従来のニューラルネットワークを超えるとまで言われている、最新鋭のアルゴリズム「カプセルネットワーク」。人工知能・機械学習をやっている方であれば、末に耳にした方も多いかと思います。 年末年始のお休みでCapsNetを紐解いてみようとお考えの方も多いはず!本記事では「速報」として、カプセルネットワーク(CapsNet)の簡単な概要、さらにはKeras(TensorFlow Backend)を使ってCapsNetの構築を行い、MNISTの結果を確認するチュートリアルとなります。(参考ソース:こちら) CapsNetの論文(英語)を紐解く前に、まずはコードを一緒に動かしてみましょう! カプセルネットワーク(CapsNet)とは? Googleに所属する天才AI研究者「ジェフ・ヒントン」が生み出した、「ニューラルネット」を超える可能性がある新しい深層学習のアルゴリズムです。 ジェフ・ヒントンですが、
Benchmarking CNTK on Keras: is it Better at Deep Learning than TensorFlow? June 12, 2017 - Keras is a high-level open-source framework for deep learning, maintained by François Chollet, that abstracts the massive amounts of configuration and matrix algebra needed to build production-quality deep learning models. The Keras API abstracts a lower-level deep learning framework like Theano or Google’s
今回は、機械学習でよく使われるIrisデータセットを多層パーセプトロンで分類してみた(ありがち)。Irisデータセットのクラスラベルは3つ(setosa, versicolor, virginica)あるので前回までと違って多クラス分類になる。短いプログラムなので全部載せてポイントだけまとめておこう。 ソースコード import numpy as np from sklearn import datasets from sklearn.model_selection import train_test_split from keras.models import Sequential from keras.layers.core import Dense, Activation from keras.utils import np_utils from sklearn import pre
Note: this post is from April 2016. It no longer reflects TensorFlow and Keras best practices. Keras has now been integrated into TensorFlow. Please see the keras.io documentation for details. A complete guide to using Keras as part of a TensorFlow workflow If TensorFlow is your primary framework, and you are looking for a simple & high-level model definition interface to make your life easier, th
コインチェック社の大量の仮想通貨盗難事件を筆頭に、日本でも大きく報道されている仮想通貨。ことビットコインに絞れば、日本は世界No1の取引高となっており、まだまだ仮想通貨バブルは続きそうな予感です。 今回の記事では、「機械学習で仮想通貨(ビットコインとイーサリアム)の価格を予測してみよう」という趣旨となります! 原則として機械学習を触ったことがないエンジニアの方でも実行できるように説明をしていますので、初めて機械学習を触る方でも、是非挑戦してみてください! 本記事では「入門編」としまして、機械学習で仮想通貨の予測をこれから取り組もうと考えている方への最初の一歩となれば幸いです。仮想通貨のデータセットの入手方法や、予測モデルの考え方、またKerasを使って実際にLSTMを構築してテストデータを評価してみます。(本記事はロンドン在住の凄腕データーサイエンティストであるDavid Sheehanさ
Keras Advent Calendar 2017 の 25日目 の記事です。 Kerasでモデルを学習するmodel.fit_generator()でつかうgeneratorを自作してみます。なお、使用したKerasのバージョンは2.1.2です。 はじめに Generatorをつくる Generatorをつかう おわりに はじめに Kerasでモデルを学習するには、 model.fit() model.fit_generator() model.test_on_batch() のいずれかを使うと思います。 fit()は、データがメモリにのるくらいの規模のデータに向いており、fit_generator()は、generatorを使ってバッチ毎にデータを読み込みます。メモリ以上のデータを扱うときやバッチ毎に処理をさせるときに使います。test_on_batch()を使うと学習ループをカスタ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く