はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 先に成果から 判定をミスった画像 判定精度は99.58% 10,000枚のテストデータセットのうち42枚がエラーとなりました。 画像の下にセンタリングされている数字が正解ラベル。その下に左寄せで5つ表示されている数字は尤度が高い順に並んだ予想。 尤度に比例した棒グラフが表示されますが、殆どのケースで尤度が低すぎて棒グラフになっていません。 多くのものは正解が2番めの尤度(第2候補)になっています。 しかし、右上の3枚のように正解が5番目(第5候補)までに入らないほど酷くハズしてしまうこともあるようです。 数字別に最も尤度が高かった画像

日経ITPro 2017/01/27リリースの記事より PFNの深層学習フレームワーク「Chainer」が大幅な高速化へ、分散処理に対応 この一年半ほどChainerを個人(学習とちょっとした研究)用に、また直近一年程度は業務案件でTensorFlowを使ってきました。 度々、この二者の違いは何かと考えましたが、Chainerが劣ってしまう点は複数ノードでの分散処理に対応していないことでした。 と言っても底辺フリーランサーが関わる案件では分散処理が必要になるほど大規模なデータセットに触れることはまずありませんが。 ##少なくとも32ノード/128GPUに対応するようです (上記リンク先より転載) 1ノード/1GPUで20日以上を要した学習が32ノード/128GPUでは、なんと4.4時間まで短縮されたとのこと。 「20日以上」を20日として計算しても実に109倍の高速化に相当します。 また1

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 結構IT業界に長く居座っておりますが、この雑誌は初めて購入しました。 Interface(インターフェース) 2017年 03 月号 よく見ると表紙のど真ん中にやや小さいフォントでTensorFlowと書かれているのがわかります。 ##この雑誌の6割(90ページ)ぐらいがTensorFlowの記事になっています 表紙にも大きくGoogle人工知能と別の表現で書かれているものの、ここまでTensorFlow三昧に仕上がっているとは思いませんでした。 立ち読みだけのつもりがつい購入してしまいましたので、軽く紹介させて頂きます。 尚、表示には

本記事はChainerやTensorFlowでGPUを使うと毎回結果が変わる理由と対策 (まとめ)の詳細編であり、Chainerについて具体的な対策について検証します。 ##関連Issues(Chainer) https://github.com/pfnet/chainer/pull/1321 ##検証環境 Chainer v1.20.0 Python 3.5.2 CUDA 8.0 cuDNN 5.1 NVIDIA Tesla/GeForce いろいろ ##まずは乱数種の指定 GPUの演算誤差だけでなく乱数を用いていることも演算結果が安定しない原因です。 そこで乱数種を指定して発生する乱数を固定します。 ###乱数種の指定対象 Chainerの場合、下記の3種類の乱数に配慮する必要があります。 Python NumPy CuPy CuPyはPFN社謹製のGPU対応版NumPyと考えればよい

##結論から ChainerやTensorFlowなどの機械学習(特にDeepLearning)フレームワークでGPUを使うと、誤差程度ではあるものの演算結果が毎回変わってしまいます。(非決定的な演算) 「乱数使ってるから当たり前でしょ」って話ではなく、乱数種を指定してもGPU内部での演算順序が非決定的であるためGPU演算の結果は安定しません。 浮動小数点演算なので誤差が出るのは当然だが、その誤差が安定しない(非決定的)なのが気になるところです。 Chainerでは環境変数(CHAINER_CUDNN)の指定またはConvolution2Dなどへのパラメータ追加で本事象を回避可能。 TensorFlowについてはGoogle社曰く「EigenライブラリまたはcuDNNの仕様によるとのこと」であり現状では対応策無し。(詳細は次の記事に記載のIssuesを参照のこと) 尚、Caffeでも同様の

掲題の通りでございます。 Featureはこちら 個人的に面白いと思ったもの Add PlotReport (#2001) https://github.com/pfnet/chainer/pull/2001 Chainerでもログからグラフ描画が可能に。 Webサーバも内包すればTensorBoardはもはや不要か? Add DCGAN example (#1892) https://github.com/pfnet/chainer/pull/1892 Generative系を何も無いところから「やってみた」するのは結構困難。 まだ試していませんがExampleがあるといいですね。 Add DeCov loss (#1942) https://github.com/pfnet/chainer/pull/1942 元論文Reducing Overfitting in Deep Networ

Qiita的にもネット全般でもまだあまり話題になっていないようですが、PFN社の公式コンテンツとしてWeb上でChainerを学べるChainer PlayGround βが公開されています。 PFN社のアナウンスでは2016年11月初旬に最初のリリースがあったようです。 また同アナウンスには 深層学習を使う上で必要なテクニックを分野毎に一問一答形式で学べる「深層学習100本ノック（仮称）」、より初心者向けの深層学習教材、深層学習や機械学習の経験がないアプリケーションデベロッパー向けのChainerチュートリアルなどを随時増やしていきます。 との記載もあり、現状はβ版で発展途上ですが今後に期待が持てます。 軽く触ってみたので御紹介 このあとで触れますが、右側のペインでは実際にpythonのコードを記述し実行できます。 いまのところ3章の途中まで記述されているようです 第1章 Introdu

先日(2016/11/29)TensorFlowの最新版r0.12がリリースされました。 TensorFlow r0.11で開発していたアプリケーションを本番リリース前のテスト環境として用意したr0.12で実行したところ、起動時に見覚えのない警告メッセージが表示されました。 WARNINGの内容 WARNING:tensorflow:From :1 in .: initialize_all_variables (from tensorflow.python.ops.variables) is deprecated and will be removed after 2017-03-02. Instructions for updating: Use tf.global_variables_initializer instead. initialize_all_variablesは2017/

人気のGoogle謹製機械学習フレームワークであるTensorFlowは、Linux版とMacOS版しかリリースされていません。話題のディープラーニングなどに興味があるもののWindows版がリリースされていないため手が出し辛かった方もいるでしょう。 そんななか、2016年8月のWindows 10 Anniversary UpdateでWindows10上にUbuntu(Bash)を直接インストールすることが可能になりました。そこでこのBash on Ubuntu on Windowsを利用して手軽にTensorFlowを使うための手順をまとめました。 Bash on Ubuntu on WindowsでTensorFlowを利用する長所と短所 長所 ・仮想環境の導入が不要 ・Windowsのエディタでソースコードの編集を行う際、ファイル共有設定が不要 Linuxっぽさをそれほど感じずに