kerasでtrainとvalidationのTensorboardの出力を分ける - Qiita
これなーに keras便利ですよね〜 モデル作って、精度のカーブをtensorboardで確認っと・・・ trainとvalが別れてグラフにプロットされてて、ちょっと見づらい。。 特にoverfitなどを確認する時は、trainとvalのグラフの精度のカーブを一緒に見たくなるので、できたら一緒にみたい！ ということで、下みたいに一緒に見れるようにするtipsです。 やり方 以下のclassを作って、model.fitをする時の引数にcallbacks=[TrainValTensorBoard(write_graph=False)]を指定してあげる。 class TrainValTensorBoard(keras.callbacks.TensorBoard): def __init__(self, log_dir='../saved/', **kwargs): # Make the orig
乃木坂メンバーの顔をCNNで分類 - Qiita
乃木坂46のメンバー5人を分類する機械学習 夏休みに作っていたもののまとめです。 Aidemyさんのブログの記事 機械学習で乃木坂46を顔分類してみた のほとんど丸パクりです。他の題材考えてようかと思ったけど乃木坂にハマり始めていたのでそのままやることにしました。 自分のローカル環境でも同じことができるようにコードを直したり、ちょっとだけやり方変えてみた部分があります。 違う部分は次の3つです。 画像の枚数 参考記事ではメンバー１人につき50～70枚ほどなんですが、別のスクレイピングで170～230枚ほどの画像枚数に増やしました。 画像の水増し方法 参考記事では反転処理、閾値処理、ぼかしを採用していましたが、人間の顔を左右反転するのはどうなんだろうかと思ったので(実際まいやんのほくろとか左右非対称だし)、反転処理はやめました。 代わりに、顔の画像って左右にちょっと傾いてるものとかがあるので
転ばぬ先の杖-機械学習エラー備忘録(matplotlibエラー、scikit-learnエラー、kerasエラー) - Qiita
Traceback (most recent call last): File "bmi-plot.py", line 12, in <module> fig = plt.figure() File "/usr/local/lib/python3.5/dist-packages/matplotlib/pyplot.py", line 533, in figure **kwargs) File "/usr/local/lib/python3.5/dist-packages/matplotlib/backend_bases.py", line 161, in new_figure_manager return cls.new_figure_manager_given_figure(num, fig) File "/usr/local/lib/python3.5/dist-packages/ma
東証2部最強やなという話コード篇 - Qiita
昨日自分のはてなブログで「東証2部最強やなという話」を書きました。この記事はTOPIX指数、東証2部指数、マザーズ指数のデータをダウンロードして加工し、各々の価格データを指数化したものと標準偏差を比べ見て、東証2部指数が最強やなみたいな記事を作りました。（決して投資を推奨するわけではありません。そうして、TOPIX,マザーズ指数に投資する方法はたくさんありますが（投資信託、ETF、先物など）、東証2部指数に投資する方法は筆者が知る限りありません。） 最強やなというところで使ったグラフは以下のものでmatplotlibで書きました。 そのコードを以下では書いていきます。 まず価格データに関しては、SBI証券よりダウンロードしました。TOPIX、東証2部指数に関しては2000年からのデータをcsvでできました。マザーズ指数に関しては、算出が2003年9月12日ということで、その日からのデータし
OpenCV 以外の場所にある深層学習ベースの顔検出を調査中(3) - Qiita
顔検出 PyPI mtcnn 0.1.1 Multi-task Cascaded Convolutional Neural Networks for Face Detection, based on TensorFlow github MTCNN face detection implementation for TensorFlow, as a PIP package. Youtube Face detection with MTCNN Python3.4 +でのTensorFlow用のMTCNN顔検出器の実装 これは、FacenetのDavid Sandberg（FaceNetのMTCNN）からMTCNNの実装を参考にして書かれています。 これは、Zhang、Kらの論文に基づいている。 （2016）[ZHANG2016]。 そのBENCHMARKを示しており、どの程度実用的な速度がでる
RTX2080の学習速度をざっくり検証（追加） - Qiita
と言うわけで、RTX2080を買ってみました 計算速度を比較するためにVGG16のファインチューニングを 下記の設定でやってみました。 GTX1080Tiは違うパソコンでやったため参考でお願いします GTX1080TiとRTX2080との速度比較ですが RTX2080のほうが11%ほど早い結果となりました。 GTX1080Tiの端末に新しく仮想環境を作成しRTX2080と各種ライブラリを 同じバージョンにしたところGTX1080Tiのほうが3%ほど早くなりました（泣 機械学習をするだけであればメモリが3GB多く、値段が4万円安い GTX1080Tiのほうが良さそうですね・・・ ※△１ CUDAを9.0->9.2の計算結果も掲載 ※△２ GTX1080Tiの結果を追加 ※△３ GTX1080Tiのライブラリのバージョン等を同じに ※△４ GTX1070のノートとGV100追加 計算内容 ・ト
Watson Studio で YOLO V3 カスタム物体検出 - Qiita
前回の記事ではYOLO V3のKeras版をWatson Studioで動かして、学習済みモデルを使用した物体検出をやってみました。今回はこのモデルを自前の画像で学習させて任意のモノを検出するカスタム物体検出に挑戦します。大きな流れとしては以下のようになります。 教師データの作成 検出したい物体をアノテーションツールで学習させて教師データを作成します YOLOモデルの学習 Watson StudioのDLaaS(Deep Learning as a Service)機能を使ってYOLOモデルを学習します 物体検出 作成したモデルを使ってカスタム物体検出を実行します 今回も学習のためのコードは以下のものを参考にしています。 https://github.com/experiencor/keras-yolo3 1. 教師データの作成 今回は以下のような「IBM Watson」のアバターを新旧の
初心者でもJKでも大丈夫！TensorFlow公式チュートリアルを解説 - Qiita
動機/対象 現在美女たちを機械学習させてみようと思い奮闘中なのですが、scikit-learnのニューラルネットワークライブラリではいまいち満足する結果が得られなかったので、TensorFlowに乗り換えちゃえyo!って感じです。美女を見分けられい機械はだだの機械だ：OpenCV, Python3による画像からの顔抽出 そこでTensorFlowの勉強としてまず、公式チュートリアルをやってみよう！と思いましたが、英語、、、メンドくさい。。。 -> Qiitaに載っているチュートリアルの翻訳を見ながらやればいいんだ！ -> （おそらく）前のバージョンのチュートリアルの解説しか出て来ぬ。。。 -> 仕方ないから英語読むか。 よって対象は私と同じTensorFlowって美味しいの？系初心者です。解説も完全な翻訳ではなく、端折ったり、付け加えている部分があります。 なおTensorFlowのチュー
Keras、NVIDIA等の環境構築をAnsibleで自動構築 - Qiita
はじめに AWS EC2、オンプレ環境でKerasの環境構築を繰り返しています。 マシンが10〜100台となる計画があり、Ansibleで自動構築をしました。 Install TensorFlow on UbuntuのTensorFlow GPU supportを参考にしています。 自動構築の概要 hostsのIPアドレスを修正して、ansible-playbookで自動構築できます!!! 一応、流れを把握して頂いた後、自動実行して頂ければと思います 前提 Ansibleの基本的な解説はしません Ubuntu Server 16.04 LTS Python3 Tesla K80 解説 NVIDIAドライバ 384.x or higherが要求条件です Ubuntu Server 16.04 LTSのnvidia-384を利用します CUDA CUDA 9.0が要求条件です cuda-cub
Matplotlib 論文書くときに使ったやつメモ - Qiita
はじめに 論文を書くときにいろいろ調べたのですがまた書くときにまとめておくと楽なので そのまとめです 参考 https://qiita.com/rnhd/items/325d21621cfe9e553c17 https://qiita.com/okadate/items/00227316187b60f861f5 https://qiita.com/nishimuraatsushi/items/2df8542ebf97affa26fb グラフの文字系 ここがとにかく大変でした 普通times new romanを使うので よく言われているこれでやると plt.rcParams['font.family'] = 'Times New Roman' #全体のフォントを設定 plt.rcParams["mathtext.fontset"] = "stix" plt.rcParams["font.s
matplotlibで土日に線を入れる - Qiita
x軸が日付のとき、グラフの推移に曜日が関係していることがあります。 土曜日と日曜日がどの辺りなのか分かりやすいように色をつける方法を考えました。 ライブラリのインポートと、サンプルデータの用意をします。 import numpy as np import pandas as pd import matplotlib.pyplot as plt import datetime %matplotlib inline df = pd.DataFrame() for day in (datetime.date(2018, 9, 1) + datetime.timedelta(x) for x in range(30)): df = df.append(pd.DataFrame([[day, np.random.rand()]], columns = ['date','value']), ignor
VirtualBox仮想マシン(Ubuntu16.04 LTS)でTensorflowを動かす@Windows10 - Qiita
自宅(Windows10)でどうしてもUbuntu開発環境がほしかったので構築しました。 今後Tensorflowを用いたディープラーニング系の記事を投稿していく予定です。 GPUも使えるようにしたい。 環境 Windows 10 Pro Oracle VirtualBox 5.2.18(投稿時最新版) 構築手順 VirtualBoxのダウンロード・インストール こちらのサイト[1]が非常に参考になります Ubuntu 16.04 LTS のダウンロード IOSイメージをダウンロードしてください。次のステップで使います 仮想マシンの作成・初期設定 こちらのサイト[2]で丁寧に説明しています おすすめ初期設定 VirtualBox クリップボードの共有、ドラッグ＆ドロップの設定 仮想マシンの設定 -> 一般 -> 高度 -> クリップボードの共有 -> 双方向 仮想マシンの設定 -> 一般
【Python】ただひたすらにフーリエ変換【備忘録】 - Qiita
import numpy as np from scipy.fftpack import fft import matplotlib.pyplot as plt # parameters N = 2**20 # data number dt = 0.0001 # data step [s] f1, f2 = 5, 8 # frequency[Hz] A1, A2 = 5, 0 # Amplitude p1, p2 = 0, 0 # phase t = np.arange(0, N*dt, dt) # time freq = np.linspace(0, 1.0/dt, N) # frequency step y = A1*np.sin(2*np.pi*f1*t + p1) + A2*np.sin(2*np.pi*f2*t + p2) yf = fft(y)/(N/2) # 離散フーリエ変換
最良のモデルを保存する（ModelCheckpointの使い方） - Qiita
Epoch数が少ないと学習が足りず、多すぎると過学習になりますが なんか自動で止める方法はないものだろうか・・・と調べると 灯台下暗し本家にありました 何ができるのか Epoch終了後の各数値（acc,loss,val_acc,val_loss)を監視して条件が揃った場合モデルを保存します 例えば下記の使い方の設定方法を設定し学習を行うと「Val_loss」を監視します 1Epoch終了後に「保存されている重みの「Val_loss」＞学習後の「Val_loss」」 の場合の時だけモデル全体を保存します これにより適当にEpochを決めて過学習となってしまった場合でも モデルファイルはそれ以前の「Val_loss」が最小の時のモデルファイルが 保存されるのでやり直しがなくて便利です 確認環境 python3.6.6 Tensorflow:1.10.0 Keras：2.2.2 使い方 直接mo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[Kaggle]New York City Taxi Fare Prediction - Qiita
Raspberry Pi 用 TensorFlowLite ビルド - Qiita
Ubuntu on Windows(WSL)で, matplotlib.pyplotが動かない問題の対処方法 - Qiita
matplotlibで3次元プロットする際に3軸のスケールを揃える - Qiita
Pipenv をdockerで使うときに特定のパッケージが入らないようにしたかった。 - Qiita
TensorFlow をソースからコンパイル 20180917版 - Qiita
