Twitterから画像を集めてKerasで軽く分類してディープラーニングの学習データにする流れ - Qiita
努力と根性 背景 GANやVAEなどの生成モデルを使ってヌードグラビアを生成するということをやってます（最近ちょっとサボり気味、PUBG楽しい）。ここでは学習データをどうやって収集しているのかを紹介していきます。 主に使用するツール・言語 : python, bash, xargs, twphotos, keras 何をするのか 目標として以下の条件の画像を集めます。 縦構図 規定値以上のサイズ カラー（グラビアにはモノクロ化、単色化されたものがあるがそれは除外する） 頭から腰までは最低限写っていて正立に近い構図（頭が下、腰が上などの構図を除外する） 「オッオッオッ」ってグッと来るもの おおまかな流れ 前準備 Twitterでリストを作成する Twitterリストに欲しい画像をたくさんアップロードしているアカウントを収集する プログラム APIを使ってTwitterリストのメンバー名を収集
Keras - Qiita Advent Calendar 2017 - Qiita
About reserved postingIf you register a secret article by the day before the same day, it will be automatically published around 7:00 on the same day. About posting periodOnly articles submitted after November 1 of the year can be registered. (Secret articles can be registered anytime articles are posted.)
【Python】QRNNでカオス時系列データ予測【Keras】 - Qiita
はじめに 以前，KerasやTensorFlowを用いたRNN（LSTM）による時系列データ予測の導入記事を書いたのですが，予測対象が単純なsin波だったため，リカレントなネットワークの効果を実感できずに終わってしまっていました．また，その記事を書いた後あたりにCNNを活用して計算処理の並列化を進め，LSTMよりも高速な学習を行うQRNNが発表されたため，今回はもう少し複雑な時系列情報に対してQRNNの効果を試しつつ，CNNやRNNとの効果の違いをみてみます． なお，備忘録としてざっくりとしたQRNNの解説を載せていますが，より詳しく，わかりやすい以下のような解説が多数あげられていますので，詳細等が気になる方はそちらをご覧ください． 参考文献 QRNNでLSTM(深層学習を用いた時系列分析)をスピードアップ(次世代システム研究室様) Quasi-Recurrent Neural Netwo
【Movidius™NCS＆RaspberryPi】リアルタイム物体認識【TensorFlow】 - Qiita
RaspberryPiの様な非力なマシンでも人工知能スティックを利用することで、ディープラーニングの実行速度を上げることが出来るようになりました。 Movidius™ Neural Compute Stick 先日スイッチサイエンスさんで購入することが出来ましたので早速試してみました。こんな感じ。 画像はFPS10程度のGIFですので、動画で確認したい方はこちらをご参照ください。通常のRaspberryPiでは考えられない位（6〜7倍）高速に推測を行う事が出来ています。 環境 ハードウェア RaspberryPi3 Movidius™ Neural Compute Stick LOGICOOL ウェブカム HD画質 120万画素 C270 ソフトウェア RASPBIAN STRETCH WITH DESKTOP 4.9 Python 3.5.3 pip 9.0.1 TensorFlow 1
初心者のRNN(LSTM) | Kerasで試してみる - Qiita
時系列データ解析の為にRNNを使ってみようと思い，簡単な実装をして,時系列データとして ほとんど，以下の真似ごとなのでいいねはそちらにお願いします． 深層学習ライブラリKerasでRNNを使ってsin波予測 LSTM で正弦波を予測する CHANGE LOG 2020/07/12 Sequenceの長さを25 → 50で再学習させた場合を追記 ライブラリをスタンドアロンKeras → Tensorflow.kerasに変更 ライブラリ from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Activation from tensorflow.keras.layers import LSTM from tensorflow.keras.optimizers impor
Mac OSXでeGPUプログラミング環境構築(Keras,Tensorflow) - Qiita
もともとGPUを積んでないmacでGPUを使った機械学習をしたいので,外付けGPUボックスとグラフィックボードを用意して環境構築まで行いました。 環境 Mac Mini(macOS Sierra 10.12.6) Python 3.6.3 (pyenvを使っています) AKiTiO Node Thunderbolt3 eGFX Box NVIDIA GeForce GTX1080 Mac MiniはThunderbolt3に対応していないので,Thunderbolt3 to Thunderbolt2アダプタが必要 GPUのセットアップ こちらの記事を参考にGPUのセットアップをしました. Macbook ProでThunderbolt 2接続の外付けGPUを使う（Netstor NA211TB + GeForce GTX 760） NVIDIA Web Driverは378.05.05.2
TensorFlow(LSTM)でBitcoinの価格予想 - Qiita
Bitcoin(ビットコイン)とは？ ビットコインは仮想通貨の一種です。仮想通貨の定義は様々ですが、日本のビットコイン取引所"bitFlyer"によれば 下記です。 仮想通貨としてイメージしやすいのは、オンラインゲーム内の通貨です。円やドルを支払って、ゲーム内で使われている通貨を手に入れれば、そのゲーム内で使われている通貨が「使える」ゲーム内のお店で、アイテムを買うことができます。ゲーム内でのみ使える、仮想の通貨です。 出典*1:ビットコイン（Bitcoin）とは？ ビットコインは仮想通貨の中でも単価価格が高額であり取引高も多いため、投資家達は競って投資しています。 TensorFlow(LSTM)とは？ Bitcoinの価格予想は下記記事を下書きとしています。TensorFlowおよびLSTMの詳細については下記記事を参照して下さい。 出典*2:TensorFlow(LSTM)で株価予想
SSD(Keras / TensorFlow)でディープラーニングによる動画の物体検出を行う - Qiita
やったこと 前回に引き続き、動画の物体検出を行いました。 今回はアルゴリズムを変えて、SSDという物体検出アルゴリズムを使用しています。 （動画はPIXELS VIDEOSよりCCライセンスの動画を使用しました。） SSD(Single Shot MultiBox Detector)とは 論文はこちら(2016年)。 前回使用したYOLO(You only look once)アルゴリズムと同じく、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を用いた物体検出アルゴリズムです。 他のシングルステージ方式と比較して、入力画像サイズが小さくてもSSDの精度ははるかに優れています。 Compared to other single stage methods, SSD has much better accuracy, even with a
TensorFlowをWindowsにインストール Python初心者でも簡単だった件 - Qiita
TensorFlow1.6をWindows10にインストールします。基本的には公式サイトを見ながらインストールしています。私は Pythonはほとんどやったことない人間ですが、そんな程度でもまるで問題なかったです。 当記事はAnacondaを使っていますが、Minicondaも使用ディスク容量が大幅に削減できておすすめです。Minicondaの場合は以下の2つの記事を参照ください。 WindowsにMinicondaインストール(2018年) WindowsでMinicondaを使ってTensorFlow環境構築(2018年) Windowsでの環境比較は、記事「Windows PCで機械学習環境を作る方法まとめ」に書きました。 UbuntuでのTensorFlow環境構築は記事「WSLのUbuntuにTensorFlowをインストール」を参照ください。 あと、Google Colabor
TensorFlowでYahoo!ニュースのカテゴリを分類してみる - Qiita
はじめに 機械学習、初心者です。むかし、ほんのほんのちょこっとだけ解析とかやってましたが素人に毛が生えた程度です。久々に本屋に行ったら、技術書コーナーがディプラーニングで染まっていたので流れに乗ってみようとおもいました。平積みになっていた「TensorFlowで学ぶディプラーニング入門」を一通り読みCNNの概要を把握したのですが、やはり実感が湧きません。こういうときは実際に手を動かすのが1番と思い、Yahoo!ニュースを解析してみることにしました。今回の目的は、自分で集めたデータでとにかくTensorFlowしてみるですので、もっと最適な分類方法はあるかもしれません。 ソースコードはこちらです。コメントがあまり書かれていないので汚いです。すこしずつ整理しております。 https://github.com/naronA/news-category-learning なにするの？ Yahoo!
PythonというかMatplotlibでスケールや単位の異なる時系列データを整形して表示する - Qiita
1つのソースの時系列データをグラフ化で特に悩むことはありません。が、ソースの異なる時系列データを表示する方法が分からなかったのでやってみました。結論からいうと得たい結果は得られましたが、いまいちです。 結果は不本意なので、もっとスマートな方法があれば教えて下さい。 やりたいことと課題 例としては、 Webアクセスデータはアクセス毎に秒単位で存在(2016-06-2 00:00:00から2016-06-7 00:00:00取得） 同時期のCPUのデータ。1時間に1回、遅れて取得(2016-06-03 12:00:00から2016-06-09 17:00:00取得） みたいな感じです。 各データを表示することは簡単ですが、取得期間も単位（件数、%等）も異なる場合は厄介です。 そもそもDBやCSVからデータを取得する方法はこちらをご覧ください。 Matplotlibの基本 細かな話の前に、そもそ
[Python]KerasをTensorFlowから，TensorFlowをc++から叩いて実行速度を上げる - Qiita
はじめに 深層学習は学習自体に時間がかかるのはもちろんのこと，訓練済み学習モデルを走らせる際にもそれなりに時間がかかります．しかし，SSD（Single Shot MultiBox Detector）等でリアルタイム物体認識をさせたい！とか，DQN(DeepQNetwork)等で強化学習したAIと人とでリアルタイムアクション対戦ゲームをさせたいといった際には，モデル実行のリアルタイム性がかなり重要になってきます． いいPC買え！といえばそれまでですがそんなお金もないですし，ノートPC等でポータブルに実行したいということもあるでしょう．そこで今回はKeras(TensorFlow)をいかに高速に実行するかについて考えていきます． 実行環境 Python3.5.2 Keras 1.2.1 tensorflow 1.0.0 MacBookPro(Late 2013) 高速化 ではやっていきましょ
![[Python]KerasをTensorFlowから，TensorFlowをc++から叩いて実行速度を上げる - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/82869e72c0767fc0a8421bf587458eb79ffe4146/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGNTk4NjQlMkZwcm9maWxlLWltYWdlcyUyRjE0NzM2OTUwNTg_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmZtPXBuZzMyJnM9YTE3N2MyNGEwNmJhYmVhMWE0ZDUwMmNmNWM5MGVjZTI%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Dc8dd32b31fae03c70963421bf3671e4f%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUHl0aG9uJTVES2VyYXMlRTMlODIlOTJUZW5zb3JGbG93JUUzJTgxJThCJUUzJTgyJTg5JUVGJUJDJThDVGVuc29yRmxvdyVFMyU4MiU5MmMlMkIlMkIlRTMlODElOEIlRTMlODIlODklRTUlOEYlQTklRTMlODElODQlRTMlODElQTYlRTUlQUUlOUYlRTglQTElOEMlRTklODAlOUYlRTUlQkElQTYlRTMlODIlOTIlRTQlQjglOEElRTMlODElOTIlRTMlODIlOEImdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz0zMjNkYzdhZDM1YzQ3YzkwZGY4OWY0NjdjM2ZlNjk5YQ%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDB5dWtpQiZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTQwNDMzNzY3OWM3ZGFlZDg1NWQ2ZmFkZmQ5NTQ2NTYy%26blend-x%3D242%26blend-y%3D454%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-44OG44Oz44Kv44O8%26txt-x%3D242%26txt-y%3D539%26txt-width%3D838%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%25231E2121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D28%26s%3De1ec73c44c1fdf3971a8526efbc9c9e4)
KerasでLSTM AutoEncoderを実装する - Qiita
1.はじめに この記事はKerasのLSTMのフィードフォワードをnumpyで実装するの続きみたいなものです． KerasでLSTM AutoEncoderを実装し，得られた特徴量から2値分類を試します． データは，周波数の異なる2つのsin波を生成し，それを識別します． 2.環境 Python 3.6.1 :: Anaconda 4.4.0 (64-bit) Keras 2.0.5 (backend : tensorflow) 3.データの作成 3.1 概要 データの生成は以下の記事を参考にしています．ありとうございます． 深層学習ライブラリKerasでRNNを使ってsin波予測 RNNにsin波を学習させて予測してみた 今回は2値分類をするため，データの生成方法を少し変更しています． 周波数の異なるsin波を二つ準備し，それを識別させます． 3.2 コード 今回使うデータを生成するコー
MXNetチュートリアル（gluon部）用の環境構築 - Qiita
TL;DR MXNet Tutorials Building neural networks imperatively with gluon部分をさらうためのDockerfile + 起動法の紹介 公式のインストール法 + Jupyter環境 2017/7/17時点でさらうための方法、今後gluonがリリースに取り込まれた際は公式Dockerイメージの方が適するハズなので要注意 Python3を利用、Beginer部分はコレで大丈夫でした。 【2017/07/26追記】 上記gluonを用いたチュートリアルは公式より一旦下げられ、http://thestraightdope.mxnet.io でホストされる模様です。 Dockerfile FROM ubuntu:16.04 RUN groupadd mxnet && useradd -m -g mxnet mxnet RUN apt-ge
kerasで画像で主流のFine Tuning（転移学習）を、データ学習でもやってみる - Qiita
作成したモデルをオンラインサービスで使う場合、新たに蓄積されるデータを使って既存のモデルを日々更新したいですが、毎日バッチで全部のデータを回すのは時間もお金もかかります。 画像の学習では、VGG16のような学習済みのモデルに判別したい画像を読ませてFine Tuningする方法が一般的です。 そこで今回は、普通のデータで構築したモデルを保存し、そのモデルをFine Tuningしてみました。 ここではポイントだけ紹介しますので、実際に動くサンプルコードは以下から見てください。 https://github.com/tizuo/keras/blob/master/%E8%BB%A2%E7%A7%BB%E5%AD%A6%E7%BF%92%E3%83%86%E3%82%B9%E3%83%88.ipynb ベースとするモデルを構築する 今回はirisデータを適当に分割して、2回に分けて学習させます
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
kerasのよく使うやつメモ - Qiita
Kerasで分岐・結合を持つNNを素早く書く - Qiita
TensorFlow 環境構築 on windows - Qiita
Matplotlib4jでJavaやScalaからMatplotlibを使う - Qiita
Kerasのcallbackを試す（modelのsave,restore/TensorBoard書き出し/early stopping） - Qiita
