Google ColabのTPUでResNetのベンチマークを取ってみた
TPUを使った場合は精度がかなり落ちていますが、これは精度向上に寄与していたLearningRateScheduler（keras.callbacks）がTPUでは機能していないためです。Callback内で学習率変化させても効果がなかったので、TensorFlowの低レベルAPIでどうにかするか、バグ直されるまで待つしかなかと思います。TPU（上）とGPU（下）のエラーの推移です。どちらもKerasの例です。 リアルなデータで学習率調整することはあまりないのですが、CIFARの場合は学習率調整が重要なのでここだけは注意が必要です。 ちなみに速度はむちゃくちゃ速いです。GPUでは層を深くすればするほど遅くなっている自然な結果となっているのに対し、TPUではほぼ定数時間で処理できています。おそらく層が浅い場合は、TPUでは何か別の要素がボトルネックとなっていて、本体の計算性能が出せていないと
【秒速で無料GPUを使う】深層学習実践Tips on Colaboratory - Qiita
2019/5/11 PR: こちらの内容を含め、2019年5月11日発刊の 図解速習DEEP LEARNINGという本ができました。[2019年5月版] 機械学習・深層学習を学び、トレンドを追うためのリンク150選 - Qiitaでも、一部内容をご覧いただけます 2019/3/9 Colaboratoryに関する情報交換Slackを試験的に立ち上げました。リンクより、登録・ご参加ください。 2019/3/3 TensorBoardに公式対応しました。また、ランタイムのRAM/ディスク空き容量が一目で確認できるようになりました。後ほど記事に追記します。 はじめに Colaboratoryは、無料で使うことができ、ほとんどの主要ブラウザで動作する、設定不要のJupyterノートブック環境です。Googleが、機械学習の教育、研究用に使われることを目的に、無償提供しています。ざっくりというなら、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
長文日記
