Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

TensorFlow1.6をWindows10にインストールします。基本的には公式サイトを見ながらインストールしています。私は Pythonはほとんどやったことない人間ですが、そんな程度でもまるで問題なかったです。 当記事はAnacondaを使っていますが、Minicondaも使用ディスク容量が大幅に削減できておすすめです。Minicondaの場合は以下の2つの記事を参照ください。 WindowsにMinicondaインストール(2018年) WindowsでMinicondaを使ってTensorFlow環境構築(2018年) Windowsでの環境比較は、記事「Windows PCで機械学習環境を作る方法まとめ」に書きました。 UbuntuでのTensorFlow環境構築は記事「WSLのUbuntuにTensorFlowをインストール」を参照ください。 あと、Google Colabor
はじめに 機械学習、初心者です。むかし、ほんのほんのちょこっとだけ解析とかやってましたが素人に毛が生えた程度です。久々に本屋に行ったら、技術書コーナーがディプラーニングで染まっていたので流れに乗ってみようとおもいました。平積みになっていた「TensorFlowで学ぶディプラーニング入門」を一通り読みCNNの概要を把握したのですが、やはり実感が湧きません。こういうときは実際に手を動かすのが1番と思い、Yahoo!ニュースを解析してみることにしました。今回の目的は、自分で集めたデータでとにかくTensorFlowしてみるですので、もっと最適な分類方法はあるかもしれません。 ソースコードはこちらです。コメントがあまり書かれていないので汚いです。すこしずつ整理しております。 https://github.com/naronA/news-category-learning なにするの? Yahoo!
1つのソースの時系列データをグラフ化で特に悩むことはありません。が、ソースの異なる時系列データを表示する方法が分からなかったのでやってみました。結論からいうと得たい結果は得られましたが、いまいちです。 結果は不本意なので、もっとスマートな方法があれば教えて下さい。 やりたいことと課題 例としては、 Webアクセスデータはアクセス毎に秒単位で存在(2016-06-2 00:00:00から2016-06-7 00:00:00取得) 同時期のCPUのデータ。1時間に1回、遅れて取得(2016-06-03 12:00:00から2016-06-09 17:00:00取得) みたいな感じです。 各データを表示することは簡単ですが、取得期間も単位(件数、%等)も異なる場合は厄介です。 そもそもDBやCSVからデータを取得する方法はこちらをご覧ください。 Matplotlibの基本 細かな話の前に、そもそ
はじめに 深層学習は学習自体に時間がかかるのはもちろんのこと,訓練済み学習モデルを走らせる際にもそれなりに時間がかかります.しかし,SSD(Single Shot MultiBox Detector)等でリアルタイム物体認識をさせたい!とか,DQN(DeepQNetwork)等で強化学習したAIと人とでリアルタイムアクション対戦ゲームをさせたいといった際には,モデル実行のリアルタイム性がかなり重要になってきます. いいPC買え!といえばそれまでですがそんなお金もないですし,ノートPC等でポータブルに実行したいということもあるでしょう.そこで今回はKeras(TensorFlow)をいかに高速に実行するかについて考えていきます. 実行環境 Python3.5.2 Keras 1.2.1 tensorflow 1.0.0 MacBookPro(Late 2013) 高速化 ではやっていきましょ
1.はじめに この記事はKerasのLSTMのフィードフォワードをnumpyで実装するの続きみたいなものです. KerasでLSTM AutoEncoderを実装し,得られた特徴量から2値分類を試します. データは,周波数の異なる2つのsin波を生成し,それを識別します. 2.環境 Python 3.6.1 :: Anaconda 4.4.0 (64-bit) Keras 2.0.5 (backend : tensorflow) 3.データの作成 3.1 概要 データの生成は以下の記事を参考にしています.ありとうございます. 深層学習ライブラリKerasでRNNを使ってsin波予測 RNNにsin波を学習させて予測してみた 今回は2値分類をするため,データの生成方法を少し変更しています. 周波数の異なるsin波を二つ準備し,それを識別させます. 3.2 コード 今回使うデータを生成するコー
TL;DR MXNet Tutorials Building neural networks imperatively with gluon部分をさらうためのDockerfile + 起動法の紹介 公式のインストール法 + Jupyter環境 2017/7/17時点でさらうための方法、今後gluonがリリースに取り込まれた際は公式Dockerイメージの方が適するハズなので要注意 Python3を利用、Beginer部分はコレで大丈夫でした。 【2017/07/26追記】 上記gluonを用いたチュートリアルは公式より一旦下げられ、http://thestraightdope.mxnet.io でホストされる模様です。 Dockerfile FROM ubuntu:16.04 RUN groupadd mxnet && useradd -m -g mxnet mxnet RUN apt-ge
作成したモデルをオンラインサービスで使う場合、新たに蓄積されるデータを使って既存のモデルを日々更新したいですが、毎日バッチで全部のデータを回すのは時間もお金もかかります。 画像の学習では、VGG16のような学習済みのモデルに判別したい画像を読ませてFine Tuningする方法が一般的です。 そこで今回は、普通のデータで構築したモデルを保存し、そのモデルをFine Tuningしてみました。 ここではポイントだけ紹介しますので、実際に動くサンプルコードは以下から見てください。 https://github.com/tizuo/keras/blob/master/%E8%BB%A2%E7%A7%BB%E5%AD%A6%E7%BF%92%E3%83%86%E3%82%B9%E3%83%88.ipynb ベースとするモデルを構築する 今回はirisデータを適当に分割して、2回に分けて学習させます
アイテムの買い方のパターンから、この顧客がロイヤルカスタマーになりそうか判定したいというニーズがあると仮定します。 そこで、自然言語処理で単語の出現順に時系列扱いで学習させて感情判定するのを応用し、最初の10個までの購入アイテム履歴から、このユーザーが101個目まで購入しているか予測してみました。 #データとスクリプト 元データ UCI Online Retail Data Set アイテムをインデックス化する(単なる識別子のため順不同) 1顧客1行とし、アイテムを購入された順に当該アイテムのインデックス番号を若いカラムに格納 購入されていないカラムはNull jupyterで見れるスクリプトと加工後のデータはこちら https://github.com/tizuo/keras/blob/master/is_future_purchase.ipynb https://github.com/
目的 Python3.5、Anaconda4.3環境を使用しています。 Kerasで作ったLSTMモデルをJupyter Notebook上でpydot + Graphvizで可視化する際の手順です。 OSはCentOS7.3です。 ここにKerasのモデルを可視化する方法が書いてあるのですが、必要なパッケージ含めて解説します。 https://keras.io/visualization/ 手順 yumでOSにgraphvizをインストール。 pipでpydot、graphvizをインストール。 Jupyter Notebookでモデルを可視化してみる。 yumでOSにgraphvizをインストール Graphviz自体はPythonと関係ないパッケージです。 http://www.graphviz.org/About.php CentOSに限らず、OSで動作するものなので、まずはインス
Saveボタンを押すと、コマンドが実行されます。 以下のように実行成功のメッセージが出れば成功です。 このコマンドは一度実行すればよいのですが、このスクリプトを残しておくとプロジェクトを開く度に実行されてしまうので、これを避けるため、一度成功したらこのスクリプトを削除しておきます。 Exploratoryのカスタムモデルとしてkerasを使用出来るようにする Exploratoryの中では、すでに多くの機械学習モデルがUI越しにサポートされていますが、それ以外にも自分の使いたいものをRスクリプトを書くことによって追加できます。 カスタムモデルの登録の仕方 こちらのフレームワークを使って、kerasによるニューラルネットワークモデルを構築するためのコードが以下になります。 以下のコードをコピーして、Exploratoryプロジェクト内にスクリプトを作成します。 # kerasによる二値予測ニ
目的 ゼロからKerasとTensorFlow(TF)を自由自在に動かせるようになる。 そのための、End to Endの作業ログ(備忘録)を残す。 ※環境はMacだが、他のOSでの汎用性を保つように意識。 ※アジャイルで執筆しており、精度を逐次高めていく予定。 目次 Keras(Tensorflow)の環境構築 KerasでMINSTの学習と予測 KerasでTensorBoardの利用 Kerasで重みファイルの保存/読み込み Kerasで自前データの学習と予測 Kerasで転移学習 <---いまココ 概要 このページを読んでできるようになること VGG16のFine-tuningによる17種類の花の分類 で紹介されている fine tuning のサンプルプログラムを動かす。 上記の学習はCPUだと2日間近くかかるため、事前に用意してある学習済みのパラメータを読み込み、学習結果を確認
このコンテンツはMaruLabo × JAWS-UG AI #3でハンズオンの課題として使うために作成したものです。 Jupyter Notebookとすぐに実行するためのDockerfileをGitHubにて公開しています。 当記事のプログラム中で画像を表示する部分がありますが、データセットの規約の関係上、一部の出力画像は掲載しておりません。 KerasによるAlexNetを用いた犬猫分類モデルの実装 Author: 古川新 (facebook, web) TensorFlowをバックエンドに、Kerasを用いて犬猫分類モデルを構築します。モデル構成はAlexNet(論文)を用います。 犬猫のデータセットはDogs vs. Cats Redux: Kernels Editionを用います。訓練用データセット(./train/*.jpg)とテスト用データセット(./test/*.jpg)を
はじめに この内容は、自身の知識の整理が主な目的です。 実装した内容は、公式ドキュメントや色々な人の実装例を参考にしていますが、 なにぶん、知識不足により間違った理解があるかもしれません。。 その時は、遠慮なくご指摘頂けると幸いです。。 環境: python 2.7.13 Keras 2.0.7 theano 0.9.0 scikit-learn 0.18.2 やること RNNのシンプルな例を使って、Kerasでの実装方法を学ぶ。 Kerasでの簡単なRNNの実装例はCNNと比べて少なかったので、(ここくらい?) 自分で例を作ってみようと思いました。 やることは、Peter's notesの例とほとんど同じですが、 可変長の数字の並びを入力として、その総和を出力とします。 例) no 入力(X) 出力(y)
Seq2Seq とは シーケンスのペアを大量に学習させることで、片方のシーケンスからもう一方を生成するモデルです。 実用例としては以下のようなものがあります。 翻訳: 英語 -> フランス語 のペアを学習。英語を入力するとフランス語に翻訳してくれる。 構文解析: 英語 -> 構文木 のペアを学習。英語を入力すると構文木を返してくれる。 会話bot: 問いかけ -> 返答 のペアを学習。「お腹減った」に対して「ご飯行こうぜ」などと返してくれる。 いろいろ夢の広がるモデルです。 LSTM を使った以下のような形をしたネットワークで、入力を内部表現に変換するエンコーダ部分(画像左半分)と内部表現から出力を得るデコーダ(画像右半分)で構成されます。 引用元:TensorFlow Seq2Seq を簡単に試したい! Fariz Rahman さんが Keras での Seq2Seq ライブラリを公開
from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Conv2D from tensorflow.keras.layers import MaxPool2D from tensorflow.keras.optimizers import Adam from tensorflow.keras.layers import Dense, Activation, Dropout, Flatten from tensorflow.keras.utils import plot_model, to_categorical from keras.callbacks import TensorBoard from keras.datasets import cifar10 Sequential
はじめに kerasでCNNにチャレンジしてみました。例題のデータセットだけだと面白くないので、自分で拾ってきた画像をCNNで分類しました。 ここではCNNの理論的な部分はある程度わかっている前提で、処理の部分に焦点を当てています。 分析環境は、AWSのEC2を利用。 なお、画像に関しては必要な部分の切り出しを行なった上で実行しています。 (私はOpenCVで行いました) 分析環境について TensorFlowをGPUで動くよう、環境を構築したかったのですが初心者には難しく… AWSですでに環境が構築されているAMI(Bitfusion Ubuntu 14 TensorFlow)があったので、こちらを利用しています。 必要なパッケージも既に入ってます。 なお、上記のAMIはPython3も入っているので、そちらでも利用できるかと思います。 (なおコストはかかるので、その点はちゃんと確認くだ
リアルタイムに物体検出するのってどうやるんだろう?と思い調べてみたら、想像以上に高機能なモデルが公開されていたので試してみました。こんな感じです。 自動運転で良く見るようなリアルタイムの物体認識をしています。このモデルは「Single Shot MultiBox Detector(SSD)」という深層学習モデルで、Kerasで動いています。 環境さえ整えればレポジトリをクローンして簡単に実行できます。今回はデモの実行方法をまとめてみます。 環境 ちょっと古いiMacにUbuntu16.04を入れたものを使いました。詳しくはこのへんとかこのへんをご参照ください。 SSD: Single Shot MultiBox Detector 深層学習を利用したリアルタイムの物体検出は次々と新しい技術が公開されているようです。ざっと調べたところ、R-CNN、Fast R-CNN、Faster R-CNN
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く