kerasでword2vecを転移学習し、分類モデルの構築 - Qiita
#目標 教師なしデータを使い、word2vecを学習させ、それをEmbedding層としてテキスト分類問題に応用する。 #知識 word2vec 単語をベクトル化する。今回はpythonライブラリであるgensimを使用して、実装する。このライブラリは以下の論文を参考にしている。 ・Efficient Estimation of Word Representations in Vector Space ・Distributed Representations of Words and Phrases and their Compositionality ##転移学習 転移学習とは学習済みのモデルを利用して、新たなモデルを構築する手法である。 今回の場合でいうと、次のようである。 学習済みのモデル→gensimのword2vecモデル 新たなモデル→文書分類モデル 転移学習を利用した文書分類
kerasのpad_sequencesを使うときはdtypeを指定しなければいけない理由 - Qiita
>>> from keras.preprocessing import sequence >>> import numpy as np >>> data = [np.array([[1,2,3],[4,5,6]]), ... np.array([[1,2,3],[4,5,6],[7,8,9],[10,11,12],[13,14,15]])] >>> data [array([[1, 2, 3], [4, 5, 6]]), array([[ 1, 2, 3], [ 4, 5, 6], [ 7, 8, 9], [10, 11, 12], [13, 14, 15]])] >>> #長さを4に揃える。 >>> data = sequence.pad_sequences(data, maxlen=4,padding="post", truncating="post") >>> data array(
Keras-RLを用いた深層強化学習コト始め - Qiita
この記事は BrainPad AdventCalendar 2017 23日目の記事です。 今回は深層強化学習を取り上げてみようと思います。 ビジネス課題と強化学習 BrainPadでは、データ分析に基づいて様々なビジネス課題に取り組んでいますが、時間的な制約や網羅性の制約などから、機械学習に必要となる最終的に得たい結果(目的変数)と打ち手となる要因（説明変数）の組みを事前にすべて揃えることが出来ない課題において検討されるのが強化学習のアプローチです。そこでは、実際に打ち手を局所的に試行しデータを集めながら、得たい結果との関係性（予測モデル/判断モデル）を動的に学習していきます。そのような意味で、教師あり学習と教師なし学習の中間に位置する手続きと解釈される枠組みで、より現実世界の時間の流れに沿った動的な課題に適用が検討されます。 具体的には、立上げた新規Webページでの広告の出し分けロジッ
Conditional variational AutoEncoderをTensorflowで実装する - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? VAEの実装報告は多く見られるのですが、Conditional VAEに関しての実装の記事はまだあまり見かけません。生成モデルから出てくるランダムな結果を楽しむフェイズから一歩踏み込み、狙ったものを作る必要が出てきた際には必須の技術かと思いますので、Tensorflowにてトライしてみました。 #概要 VAEの解説と実装は枚挙に暇がありませんので、ここでは割愛させていただきます。非常に詳しい説明が、http://nzw0301.github.io/notes/vae.pdf にまとめられておりますので、そちらを参照されるのが良いかと思い
OpenCVとTensorFlowを使ってリアルタイムに顔から人を識別し、結果を画面に表示する - Qiita
はじめに OpenCVやTensorFlowの使い方がそこそこわかってきたので、何かわかりやすいものを作ってみようかなと思っていたら、カメラの画像を取り込んでリアルタイムにエフェクトをかけるサンプルがあったので、これを参考にして顔画像から誰かを学習して、リアルタイムに顔から人を識別して画面に表示することを試してみました。 OpenCVでWebカメラ/ビデオカメラの動画をリアルタイムに変換してみる 環境 MacBook Air (13-inch, Early 2015) macOS Sierra 10.12.6 Python 3.6.0 :: Anaconda 4.3.1 (x86_64) OpenCV 3.3.0-rc TensorFlow 1.1.0 環境構築の手順は以下を参照。 Macで深層学習の環境をさくっと作る手順 with TensorFlow and OpenCV Ubuntu
Keras(Tensorflow)の学習済みモデルのFine-tuningで少ない画像からごちうさのキャラクターを分類する分類モデルを作成する - Qiita
概要 Kerasで提供されているVGG16という大規模な画像で学習済みのモデルを活用して、ご注文はうさぎですか？（略称 ごちうさ）に登場する主要キャラクター5名の画像を分類するモデルを作成します。 この学習済みモデルを使用して少ないデータセットで、かつ比較的短時間で学習できる手法をFine-tuningといいます。 用語解説 Tensorflow ･･･ Googleが開発しオープンソースで公開している、機械学習に用いるためのソフトウェアライブラリ。 Keras ･･･ オープンソースのニューラルネットワークライブラリ。バックエンドでTensorflowも動かせる。 VGG16 ･･･ ImageNetと呼ばれる大規模な画像データセットを使って学習された16層からなるニューラルネットワークモデル。 ご注文はうさぎですか？ ･･･ まんがタイムきららMAXで連載中の漫画。アニメ化もされた人気
Ubuntu環境上でPyCharmを使った機械学習の環境を構築する（TensorFlowも導入するよ！） - Qiita
昨今流行りの機械学習ですが、環境構築が難しい場面が多く感じられたので、備忘録兼一つの情報提供になればと思い記事にします。 環境 Windows10上のUbuntu 16.04.1 LTS(VirtualBoxを使用） ※環境構築に関しては他サイトなどを参考にしてください [1] [2] [3] 記事の目的 この記事はインストールされたばかりのゲストOSであるUbuntuで機械学習やディープラーニングをPyCharmで行えるようにするというものです。具体的にはTensorFlowやNumPyなどを使用できるようにする。 ※今回はCPUのみのTensorFlow環境をつくります。 ※間違いやほかにうまいやり方がありましたら指摘していただけると嬉しいです。 手順 Anaconda3のインストール(これにより基本のPython環境を整えます) Python3.5環境の構築 PyCharmのインスト
入門向けのkeras勉強会やったよ！ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 最近機械学習はじめたので、内部向けに勉強会を開催しました。 その際の資料を共有します。（寄せ集めです（汗）） 目的 機械学習の敷居を下げ、機械学習をはじめてもらう！ kerasのソースベースなので、とりあえず動かせる（はず） 進め方 keras説明(2分) kerasインストール(2分) 実装&理論(30分) 質問時間(10分) 参考資料の共有(6分) keras説明(2分) TensorFlowやTheanoのラッパー。超簡単に機械学習ができる！ 参考 Python製深層学習ライブラリ「Keras」の紹介 (with TensorFl
Keras / Tensorflowで転移学習を行う - Qiita
概要 Keras(Tensorflowバックエンド)で、画像認識の分野で有名なモデルVGG16を用いた転移学習を行いました。 そもそもディープラーニングとは？Kerasって何？という方は、こちらの記事をご参照下さい。 転移学習とファインチューニングの違い 転移学習とファインチューニングは、どちらも既存のモデル(今回はVGG16)を応用したディープラーニングの学習方法です。その為この２つはよく混同されていますが、厳密には異なります。 参考：Quora: What is the difference between transfer learning and fine tuning? ざっくりと説明すると、違いは以下になります。 転移学習：既存の学習済モデル（出力層以外の部分）を、重みデータは変更せずに特徴量抽出機として利用する。 ファインチューニング：既存の学習済モデル（出力層以外の部分）を
TensorFlowのGPU環境をGCPでさくっと作る方法 - Qiita
TensorFlowのためのGPU環境をGCPのGoogle Compute Engine (GCE)で構築するには、 GPUの割り当て申請（初回のみ。所要時間は約5分） CUDAやcuDNNをインストール（NVIDIAのサイトからダウンロードしたりインストールしたりなんだりでスゲー時間かかって面倒） TensorFlowをインストール（所要時間は約5分） って手順が必要。しかし最近、Cloud DatalabのGPUインスタンスが利用可能になったおかげで、この手順がぐんと簡単になった。 GPUの割り当て申請（初回のみ。所要時間は約5分） Cloud Datalabインスタンスを作成（コマンド一発、待ち時間は15分ほど） これでOK。DatalabインスタンスにはTensorFlowだけじゃなくて、scikit-learnとかpandas、matplotlib等の定番ツールも入ってるので、
きみはTensorFlowでフレンズをとらえて揃えてたのしー！アプリなんだね！ - Qiita
メリークリスマス。フレンズのいない家でファミチキを一人食べる寂しさに怯えてはいませんか？ フレンズは待っていてもやってきません！外に出てフレンズを捕まえよう！そう思い立ち開発されたのが今回紹介するクソアプリ、「けものぷよ」です。 Special Thanks to けものフレンズ たのしいしくみ 外に出る 手持ちの携帯でフレンズを取る フレンズが落ちてくる フレンズが3つそろうと消える たのしー！ (きえてしまってはフレンズが集まらないのでは・・・という指摘は受け付けません。かれらは夢のパークへいったのだと思います)。 たのしいアーキテクチャ 写真を撮る IFTTTで画像を転送 TensorFlow Object Detection APIでフレンズを発見する 物理エンジンでフレンズが落ちてくる たのしー！ たのしいを実現するフレンズ TensorFlow Object Detection
Kerasのモデルは学習完了時のものが最良とは限らない - Qiita
Kerasのモデルは学習完了時のものが最良とは限らない ちょっとしたTipsです。 Kerasの限らず、ディープラーニングで作ったモデルは学習完了時のものが最良とは限りません。 学習を進めていって全エポックを終了したとしても（またはEarlyStoppingしても）、過学習であったり局所最適化されてしまったりということがありえます。 学習の途中に最良のモデルが存在するけど、学習完了時はそれより劣る、ということです。 そうした場合はCheckpointで保存された最良のモデルをロードし直すのが良いと思います。 import keras from keras.datasets import mnist from keras.models import Sequential from keras.layers import Dense, Dropout from keras.optimizers
TensorFlow Liteのliteな話 - Qiita
この記事は ex-mixi Advent Calendar 2017 23 日目のエントリーです。 こんにちは。hnakagawa と申します。 mixiには中途で入り3年ほど在籍してました。入社当初の配属は、たんぽぽという謎チームで当時まだ黎明期だったネイティブ・アプリの開発環境の整備やフレームワーク開発を主に行っていました。 自分は組み込み畑からこの業界で仕事を始め、mixiの様なWeb系に行ったり組み込みに戻ったり、レイヤの上下を行き来するキャリアを送っていますが、アプリのスタートアップを経て去年ぐらいからMLプラットフォームの下回の仕事をするようになり、最近はex-mixiが集う人材吸引会社に吸い込まれたと噂されています? ※注 自分は研究者でもMLエンジニアでもなく、あくまで下回りの知識を活かしMLエンジニアがモデル作成に集中できるような環境を整えるのが現在の仕事 はじめに 今日
TensorFlowのWide & Deep Learningを直感的に理解する - Qiita
Fringe81 Advent Calendar 19日目です。 本記事は、Wide & Deep Learningの基本的な概念の理解をゴールにしており、実装の細かい話については触れません。 Wide & Deep Learningの詳細を知りたい方は以下のページを参照下さい。 TensorFlow Wide & Deep Learning Tutorial Research Blog: Wide & Deep Learning: Better Together with TensorFlow 対象読者 Python/TensorFlowで機械学習のモデリングをしている 高次元スパースなデータを扱っている 線形モデルとDeepLearningの良いところ取りをしたい TensorFlowとは 以下の記事を参照下さい。 DeepAge: ビッグデータを分散学習するDeep Learning
[Keras/TensorFlow] Kerasでweightの保存と読み込み利用 - Qiita
from __future__ import print_function import keras from keras.datasets import mnist from keras.models import Sequential from keras.layers import Dense, Dropout from keras.optimizers import RMSprop batch_size = 128 num_classes = 10 epochs = 1 # the data, shuffled and split between train and test sets (x_train, y_train), (x_test, y_test) = mnist.load_data() x_train = x_train.reshape(60000, 784) x_te
![[Keras/TensorFlow] Kerasでweightの保存と読み込み利用 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/d24700ab79637bb924e7b636b5ea93af6033f510/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTc1MDkyJTJGcHJvZmlsZS1pbWFnZXMlMkYxNDkxOTY1NTQzP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPTY2Y2UzMmUzMDI4Y2RlN2I1ZWQ2ZDI1OTA2NTIyZjQ5%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Dbb7e4e8feca32d85d550a795ef998999%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCS2VyYXMlMkZUZW5zb3JGbG93JTVEJTIwS2VyYXMlRTMlODElQTd3ZWlnaHQlRTMlODElQUUlRTQlQkYlOUQlRTUlQUQlOTglRTMlODElQTglRTglQUElQUQlRTMlODElQkYlRTglQkUlQkMlRTMlODElQkYlRTUlODglQTklRTclOTQlQTgmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz1hNzIwNmQ2NzgxOGM4NWM3ZDIwZmQ5YzczNWYxOTM0MA%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBhZ3Vtb24mdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz01MmU1MGE3NmNjYzA3NDFlMmQ0ZjQwMzQwNWU2MzgyZA%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D0c4aab913f8bf575f3c534d12daa0c08)
Houdiniで機械学習 with TensorFlow - Qiita
はじめに はじめにこの記事に関しての動機をメモしておくと、「とりあえず、簡易的な実装含め記事を残しておけば興味持って取り組んでる人が出てきてくれるかな？」というのを少しばかり期待しているのと、「Houdini上で機械学習のプロセスを通したI/O処理を整理していく上で、基礎のところをまとめておこう」ということがある。 今回の優先順目的は2つある。Houdini上のCOP Netoworkプロセス(画像合成処理操作ネットワーク、 Composite OPeration Network)で処理した画像を機械学習プロセスを通し、出力した結果を利用してSOP Netowrk(ジオメトリ操作ネットワーク、 Surface OPeration Network)に対して影響させるというI/O処理を実装する事。この方法をもとに、様々な実験・実装を重ねていくための一歩として残しておくことにある。次に、Houd
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Windows10でAnacondaによりTensorFlowとKerasを動かす - Qiita
Cloud ML EngineでKerasモデルを学習した際、I/O関連で躓いた。その時の対処法。 - Qiita
Keras / Tensorflowで始めるディープラーニング入門 - Qiita
Kerasで画像分類を実装する時の参考資料 - Qiita
