Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

概要 Kerasで提供されているVGG16という大規模な画像で学習済みのモデルを活用して、ご注文はうさぎですか?(略称 ごちうさ)に登場する主要キャラクター5名の画像を分類するモデルを作成します。 この学習済みモデルを使用して少ないデータセットで、かつ比較的短時間で学習できる手法をFine-tuningといいます。 用語解説 Tensorflow ・・・ Googleが開発しオープンソースで公開している、機械学習に用いるためのソフトウェアライブラリ。 Keras ・・・ オープンソースのニューラルネットワークライブラリ。バックエンドでTensorflowも動かせる。 VGG16 ・・・ ImageNetと呼ばれる大規模な画像データセットを使って学習された16層からなるニューラルネットワークモデル。 ご注文はうさぎですか? ・・・ まんがタイムきららMAXで連載中の漫画。アニメ化もされた人気
昨今流行りの機械学習ですが、環境構築が難しい場面が多く感じられたので、備忘録兼一つの情報提供になればと思い記事にします。 環境 Windows10上のUbuntu 16.04.1 LTS(VirtualBoxを使用) ※環境構築に関しては他サイトなどを参考にしてください [1] [2] [3] 記事の目的 この記事はインストールされたばかりのゲストOSであるUbuntuで機械学習やディープラーニングをPyCharmで行えるようにするというものです。具体的にはTensorFlowやNumPyなどを使用できるようにする。 ※今回はCPUのみのTensorFlow環境をつくります。 ※間違いやほかにうまいやり方がありましたら指摘していただけると嬉しいです。 手順 Anaconda3のインストール(これにより基本のPython環境を整えます) Python3.5環境の構築 PyCharmのインスト
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 最近機械学習はじめたので、内部向けに勉強会を開催しました。 その際の資料を共有します。(寄せ集めです(汗)) 目的 機械学習の敷居を下げ、機械学習をはじめてもらう! kerasのソースベースなので、とりあえず動かせる(はず) 進め方 keras説明(2分) kerasインストール(2分) 実装&理論(30分) 質問時間(10分) 参考資料の共有(6分) keras説明(2分) TensorFlowやTheanoのラッパー。超簡単に機械学習ができる! 参考 Python製深層学習ライブラリ「Keras」の紹介 (with TensorFl
概要 Keras(Tensorflowバックエンド)で、画像認識の分野で有名なモデルVGG16を用いた転移学習を行いました。 そもそもディープラーニングとは?Kerasって何?という方は、こちらの記事をご参照下さい。 転移学習とファインチューニングの違い 転移学習とファインチューニングは、どちらも既存のモデル(今回はVGG16)を応用したディープラーニングの学習方法です。その為この2つはよく混同されていますが、厳密には異なります。 参考:Quora: What is the difference between transfer learning and fine tuning? ざっくりと説明すると、違いは以下になります。 転移学習:既存の学習済モデル(出力層以外の部分)を、重みデータは変更せずに特徴量抽出機として利用する。 ファインチューニング:既存の学習済モデル(出力層以外の部分)を
TensorFlowのためのGPU環境をGCPのGoogle Compute Engine (GCE)で構築するには、 GPUの割り当て申請(初回のみ。所要時間は約5分) CUDAやcuDNNをインストール(NVIDIAのサイトからダウンロードしたりインストールしたりなんだりでスゲー時間かかって面倒) TensorFlowをインストール(所要時間は約5分) って手順が必要。しかし最近、Cloud DatalabのGPUインスタンスが利用可能になったおかげで、この手順がぐんと簡単になった。 GPUの割り当て申請(初回のみ。所要時間は約5分) Cloud Datalabインスタンスを作成(コマンド一発、待ち時間は15分ほど) これでOK。DatalabインスタンスにはTensorFlowだけじゃなくて、scikit-learnとかpandas、matplotlib等の定番ツールも入ってるので、
import numpy as np import matplotlib.pyplot as plt # 押した時 def Press(event): global x1,y1,DragFlag # 値がNoneなら終了 if (event.xdata is None) or (event.ydata is None): return # 丸める cx = int(round(event.xdata)) cy = int(round(event.ydata)) x1 = cx y1 = cy # フラグをたてる DragFlag = True # ドラッグした時 def Drag(event): global x1,y1,x2,y2,DragFlag # ドラッグしていなければ終了 if DragFlag == False: return # 値がNoneなら終了 if (event.xd
メリークリスマス。フレンズのいない家でファミチキを一人食べる寂しさに怯えてはいませんか? フレンズは待っていてもやってきません!外に出てフレンズを捕まえよう!そう思い立ち開発されたのが今回紹介するクソアプリ、「けものぷよ」です。 Special Thanks to けものフレンズ たのしいしくみ 外に出る 手持ちの携帯でフレンズを取る フレンズが落ちてくる フレンズが3つそろうと消える たのしー! (きえてしまってはフレンズが集まらないのでは・・・という指摘は受け付けません。かれらは夢のパークへいったのだと思います)。 たのしいアーキテクチャ 写真を撮る IFTTTで画像を転送 TensorFlow Object Detection APIでフレンズを発見する 物理エンジンでフレンズが落ちてくる たのしー! たのしいを実現するフレンズ TensorFlow Object Detection
pythonのmatplotlibで日本語を扱う Qiitaにもいくつかおんなじような記事あるんですが、なんか分かりにくかったので自分の為にまとめておく 状況としては、macOS Sierra でmatplotlibのデフォルトのフォントが日本語対応しておらず、▫︎▫︎▫︎に(豆腐というらしい) とりあえず、グラフに日本語が表示されてほしい! 手順 http://ipafont.ipa.go.jp/old/ipafont/download.html に行って、TTFファイルの4書体パックをダウンロード |font |name |family| ---|---|---|---| |ipagp.ttf | IPAPGothic| [sans-serif] |ipamp.ttf | IPAPMincho | [sans-serif] |ipam.ttf | IPAMincho | [sans-s
Kerasのモデルは学習完了時のものが最良とは限らない ちょっとしたTipsです。 Kerasの限らず、ディープラーニングで作ったモデルは学習完了時のものが最良とは限りません。 学習を進めていって全エポックを終了したとしても(またはEarlyStoppingしても)、過学習であったり局所最適化されてしまったりということがありえます。 学習の途中に最良のモデルが存在するけど、学習完了時はそれより劣る、ということです。 そうした場合はCheckpointで保存された最良のモデルをロードし直すのが良いと思います。 import keras from keras.datasets import mnist from keras.models import Sequential from keras.layers import Dense, Dropout from keras.optimizers
Python is not installed as a framework. The Mac OS X backend will not be able to function correctly if Python is not installed as a framework. See the Python documentation for more information on installing Python as a framework on Mac OS X. Please either reinstall Python as a framework, or try one of the other backends. import sys from datetime import datetime import matplotlib.pyplot as plt impo
この記事は ex-mixi Advent Calendar 2017 23 日目のエントリーです。 こんにちは。hnakagawa と申します。 mixiには中途で入り3年ほど在籍してました。入社当初の配属は、たんぽぽという謎チームで当時まだ黎明期だったネイティブ・アプリの開発環境の整備やフレームワーク開発を主に行っていました。 自分は組み込み畑からこの業界で仕事を始め、mixiの様なWeb系に行ったり組み込みに戻ったり、レイヤの上下を行き来するキャリアを送っていますが、アプリのスタートアップを経て去年ぐらいからMLプラットフォームの下回の仕事をするようになり、最近はex-mixiが集う人材吸引会社に吸い込まれたと噂されています? ※注 自分は研究者でもMLエンジニアでもなく、あくまで下回りの知識を活かしMLエンジニアがモデル作成に集中できるような環境を整えるのが現在の仕事 はじめに 今日
Fringe81 Advent Calendar 19日目です。 本記事は、Wide & Deep Learningの基本的な概念の理解をゴールにしており、実装の細かい話については触れません。 Wide & Deep Learningの詳細を知りたい方は以下のページを参照下さい。 TensorFlow Wide & Deep Learning Tutorial Research Blog: Wide & Deep Learning: Better Together with TensorFlow 対象読者 Python/TensorFlowで機械学習のモデリングをしている 高次元スパースなデータを扱っている 線形モデルとDeepLearningの良いところ取りをしたい TensorFlowとは 以下の記事を参照下さい。 DeepAge: ビッグデータを分散学習するDeep Learning
from __future__ import print_function import keras from keras.datasets import mnist from keras.models import Sequential from keras.layers import Dense, Dropout from keras.optimizers import RMSprop batch_size = 128 num_classes = 10 epochs = 1 # the data, shuffled and split between train and test sets (x_train, y_train), (x_test, y_test) = mnist.load_data() x_train = x_train.reshape(60000, 784) x_te
この記事はTSG Advent Calendar 2017/IS18er Advent Calendarの12日目の記事として書かれました。 (ちょっとタイトルが大げさすぎる?) はじめに こんなものをchainerで作りました。(アニメーションはmatplotlib) 以下で出てくるコードをまとめたものはここにあります。 ソースファイル 経緯 この間ネットサーフィンをしていたらこんなものを見つけました。 最適化数学で新年の挨拶(ニコニコ動画) 見てみると定点の周りを別の点が回り、さらにその点の周りを別の点が回り…を繰り返し、それらの点を結んでいろいろな図形を作っているようです。この動画では数字の2, 0, 9を描いていました。 これを僕も作りたい!と思ったので、この方のブログへ行き解説を読んでみました。(http://kogarashi.net/pitchblende/archives/
はじめに はじめにこの記事に関しての動機をメモしておくと、「とりあえず、簡易的な実装含め記事を残しておけば興味持って取り組んでる人が出てきてくれるかな?」というのを少しばかり期待しているのと、「Houdini上で機械学習のプロセスを通したI/O処理を整理していく上で、基礎のところをまとめておこう」ということがある。 今回の優先順目的は2つある。Houdini上のCOP Netoworkプロセス(画像合成処理操作ネットワーク、 Composite OPeration Network)で処理した画像を機械学習プロセスを通し、出力した結果を利用してSOP Netowrk(ジオメトリ操作ネットワーク、 Surface OPeration Network)に対して影響させるというI/O処理を実装する事。この方法をもとに、様々な実験・実装を重ねていくための一歩として残しておくことにある。次に、Houd
無から始める Keras のもくじはこちら 前回のおさらい 前回は雑なデータセットを作って雑に学習させた。 入力は、要素がそれぞれ0以上1未満の5次元のベクトル。出力は、そのベクトルの要素の和が2.5以下だったら0、2.5より大きかったら1。いわゆる「2クラス分類」をする。 データセットは以下のように作った。出力はニューラルネットが扱いやすいように、ワンホットな2次元のベクトルにしてやる。 活性化関数(activation) ニューラルネットでは、前の層からやってきた値の重み付き和をとる。そこにバイアスの定数を加え、最後にある関数を適用する。この適用する関数が活性化関数である。 Activation というレイヤーを使って活性化関数をかけることもできる。これを使うとパラメータを指定できたりするのだが、まあ使わなくてもいいっちゃいい。 なおバイアスは、意味合い的には負のときに閾値となる(この
SegNetは、ケンブリッジ大学が開発した画素単位でのラベリング機能を実現する、 A Deep Convolutional Encoder-Decoder Architectureのこと keras2系+tensorflowで実装してみた とりあえず動かしたソースコードを貼っていく 解説はいずれやりたい・・・ 環境 ubuntu 17.04 python 3.6 keras 2.0.8 tensorflow 1.3.0 データの読み込み 画像のセグメンテーション用に公開しているデータを使う https://github.com/alexgkendall/SegNet-Tutorial リポジトリの、./CamVid内のデータを使う クラスは12あり、順番に [Sky, Building, Pole, Road_marking, Road, Pavement, Tree, SignSymbo
この記事はTensorFlow Advent Calendar 2017のDay8の記事になります。 TensorFlow Eager 概要 国内で根強い人気を持っているChainerやここ1年くらいで海外で大きくユーザを増やしたPyTorchでお馴染みのDefine-by-Runでモデルを記述することができるTensorFlowのパッケージの一つ。記事投稿時点ではまだPreview releaseとなっています。 Define-by-Run これまでDefine-and-RunだったTensorFlowがなぜDefine-by-Runを導入するのか?Define-by-Runには次のようなメリットがあるので、RNN系の実装が多い方に好まれています。 動的なネットワークを構築することが出来る (Ex. mini-batch毎に処理が違っても良い) モデルのエラーのデバッグが行いやすい また
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く