KerasでF1スコアをmetircsに入れる際は要注意 - Qiita
KerasでF1スコアをモデルのmetrics（評価関数）に入れて訓練させてたら、えらい低い値が出てきました。「なんかおかしいな」と思ってよく検証してみたら、とんでもない穴があったので書いておきます。 環境：Keras v2.2.4 要点 KerasのmetricsにF1スコアを入れることはできるが、調和平均で出てくる値をバッチ間の算術平均で計算しているので正確な値ではない 正確な値を計算したかったらmetricsではなく、コールバックでエポックの最後に一括で求めるべき F1スコアとは Precision-recallのトレードオフの最適解を求めるための尺度。特に精度が意味をなさなくなる歪んだデータに対して有効。F1スコアについて知っている方は飛ばしていいです。 歪んだデータとは 2クラス分類を考えるとしましょう。設定は猫と犬の分類、メールがスパムかスパムではないか、なんでもいいです。2ク
Google Colaboratoryで初めての機械学習 - Qiita
はじめに ディープラーニングというワードは聞いたことがあるけどどこから手を出したら良いかわからないという人向け。 PythonとかCNNとかKerasとかさわったことない初心者が画像分類やるぞという記事です。 SIGNATE Data Science Competitionに参加して初めてディープラーニングを触ってみたところとっつきやすかったので知見を残したいというのが本記事投稿のきっかけです。 Google Colaboratoryとは Google Colaboratory(以下、Colab)は、クラウドで実行されるJupyterノートブック環境である。 機械学習などの基本的な環境構築は設定済みで、Tesla系のK80 GPUを無料で最大12時間まで使えるという神環境。 機械学習初心者からそれなりの規模までの学習の実行を行うのに適している。 今回やること Colabを初めて使うときの設
dockerで機械学習(30) with anaconda(30)「Advanced Deep Learning with Keras」 By Philippe Remy - Qiita
1.すぐに利用したい方へ(as soon as) 「Advanced Deep Learning with Keras」 By Philippe Remy http://shop.oreilly.com/product/0636920154891.do docker dockerを導入し、Windows, Macではdockerを起動しておいてください。 Windowsでは、BiosでIntel Virtualizationをenableにしないとdockerが起動しない場合があります。 また、セキュリティの警告などが出ることがあります。 docker pull and run 以下のshell sessionでは (base) root@f19e2f06eabb:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもしれません。この行の#の右側を入力してくださ
CoreML変換時の謎のInvalid dst shapeを倒す - Qiita
※ 最後のshapeは人によって違うと思います。 書いてあるとおりに読むと、「なんやかんや問題があって predict() が実行できません」と書いてありますが、これWarningなので実際mlmodelは生成されます。 ただ、CoreMLは学習用ではなく推論用と今の所認識しているので predict() が使えないmlmodelは何のために存在するのか理解できません。WarningではなくErrorにするべきでは。。。 何のエラーなのか 以前私の記事にも書いたことがありますが、coremltoolsで変換したmlmodelには同一のレイヤーを使い回すshared layerが存在すると結構不安定な挙動をします。（というか多分coremltoolsが色々対応できていない。） それの一環（？）で、以下のようなモデルを変換するとKerasやTensorflowでは完璧に動作するのにmlmode
GraphNetを使って足し算を学習する - Qiita
はじめに 前回はGraphNetを使って「とにかく５を出力する」ように学習しました。今回は、ノードやエッジの値を足し算する学習をしてみようと思います。 環境などは前回と同じです。 足し算を学習する 今回は、下の図のようなグラフを作って、全部のノードやエッジの値を足し合わせるように学習できるかやってみます。 コード import numpy as np import sonnet as snt import graph_nets as gn import tensorflow as tf import matplotlib.pyplot as plt from pprint import pprint %matplotlib inline tf.reset_default_graph() def create_data_dict(n0=0., n1=0., e0=0., e1=0.): da
dockerで機械学習(25) with anaconda(25)「Mastering TensorFlow 1.x」By Armando Fandango - Qiita
以下のshell sessionでは (base) root@f19e2f06eabb:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもしれません。この行の#の右側を入力してください。 それ以外の行は出力です。出力にエラー、違いがあれば、コメント欄などでご連絡くださると幸いです。 それぞれの章のフォルダに移動します。 dockerの中と、dockerを起動したOSのシェルとが表示が似ている場合には、どちらで捜査しているか間違えることがあります。dockerの入力促進記号(comman prompt)に気をつけてください。 ファイル共有または複写 dockerとdockerを起動したOSでは、ファイル共有をするか、ファイル複写するかして、生成したファイルをブラウザ等表示させてください。参考文献欄にやり方のURLを記載しています。 複写の場合は、dockerを
文系エンジニアが学ぶDeep Learning - Qiita
Deep Learningをやろう！ この記事は、数学やプログラミングの知識のないものの、 本気で機械学習エンジニアを目指している方向けです。 追記 その後2019/7-社内異動でAIエンジニアになれました。勉強を始めてから一年と少しでした。 Deep Learningとは ここに来ている方は、すでにDeep Learningに深い関心があると思います。 もし、まだあまり詳しくない、という方がいらっしゃれば、下の記事を読んでみてください。 ディープラーニング（Deep Learning）とは？【入門編】 もともとの知識 数学とプログラミング、そして情報収集に必要な英語について、もともと(2018/6時点)私が持っていた知識です。 数学 文系だろうともちろん数学は必要になります。 高校 ・数ⅢCまで （当時は行列の基礎・二次曲線・微積分学だったと思います） 大学 ・経済学部 ・文系用の線形代
dockerで機械学習(22) with anaconda(22)「Deep Learning for Computer Vision」 By Rajalingappaa Shanmugamani - Qiita
以下のshell sessionでは (base) root@f19e2f06eabb:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもしれません。この行の#の右側を入力してください。 それ以外の行は出力です。出力にエラー、違いがあれば、コメント欄などでご連絡くださると幸いです。 それぞれの章のフォルダに移動します。 dockerの中と、dockerを起動したOSのシェルとが表示が似ている場合には、どちらで捜査しているか間違えることがあります。dockerの入力促進記号(comman prompt)に気をつけてください。 ファイル共有または複写 dockerとdockerを起動したOSでは、ファイル共有をするか、ファイル複写するかして、生成したファイルをブラウザ等表示させてください。参考文献欄にやり方のURLを記載しています。 複写の場合は、dockerを
DeepMindのLibraryの graph_nets を使ってとにかく「５」と出力するGraphNetを作る
はじめに GraphNets というライブラリが DeepMind からリリースされています。 このライブラリは この論文 の実装として公開されたもので、 端的に言うと 「ノード、エッジ、Globalに任意の属性(≒任意のtensor)を持ったグラフを入力にし、 構造は同じだが属性が更新されたグラフ を出力する」 というネットワークブロックを提供するものです。 何が面白そうかというと、グラフという知識表現として非常に表現力の高いデータ構造を扱うことができるということです。 以前から、グラフ畳み込みニューラルネットワークというものが(やや)注目されていましたが、それの汎用的なデータフォーマットを定めて、扱いやすくしてくれたような位置づけだと思います。 とはいうものの、現状ほとんどドキュメントも無く、デモのソースコードを見ても中々使い方がわかりません。 試行錯誤の末、なんとか GraphNet
dockerで機械学習(18) with anaconda(18)「Deep Learning with Keras」 Antonio Gulli, Sujit Pal著 - Qiita
以下のshell sessionでは (base) root@f19e2f06eabb:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもしれません。この行の#の右側を入力してください。 それ以外の行は出力です。出力にエラー、違いがあれば、コメント欄などでご連絡くださると幸いです。 それぞれの章のフォルダに移動します。 dockerの中と、dockerを起動したOSのシェルとが表示が似ている場合には、どちらで捜査しているか間違えることがあります。dockerの入力促進記号(comman prompt)に気をつけてください。 ファイル共有または複写 dockerとdockerを起動したOSでは、ファイル共有をするか、ファイル複写するかして、生成したファイルをブラウザ等表示させてください。参考文献欄にやり方のURLを記載しています。 複写の場合は、dockerを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
tesorflowでGPU id指定 - Qiita
Windowsで強化学習フレームワークGoogle_Dopamineを使う - Qiita
RNN① 初心者でも絶対わかるRNN - Qiita
【強化学習】強化学習、dqnの理論とは？？ - Qiita
プログラマーが表現するテンソル - Qiita
ノイズの多い時系列データをスムージング（MAとSSA）して、予測モデルを構築（LSTM）する - Qiita
【はやわかり＋保存版】Google Colaboratoryチートシート - Qiita
ハロプロでGAN - Qiita
ssd_kerasを試してみる - Qiita
GitHub - deepmind/graph_nets: Build Graph Nets in Tensorflow
