[B! qiita][TPU] yoshiwebのブックマーク

yoshiweb id:yoshiweb

qiitaとTPUに関するyoshiwebのブックマーク (2)

Google ColabのTPUで対GPUの最速に挑戦する
前回の記事が思わぬ反響で驚愕していますが、今回はColabのTPUを限界まで試してみたいと思います。特殊な条件にするとColabのTPUは、GPU比で20倍以上速くなることがわかりました。しかも無料です。それを見ていきましょう。 TPUがGPUと比べて速くなる条件とは前回の結果からTPUがGPUと比べて速くなる条件は2つあることがわかりました。多層パーセプトロン（MLP）よりも畳み込みニューラルネットワーク（CNN）であることバッチサイズを大きくできること 1点目ですが、CNNだから速いのではなく、CNNがパラメーター数の割に計算量が多い、つまり訓練時間のうち計算量が支配的になるからと捉えることもできます。なぜなら、CNNは1つの畳み込みフィルターでパラメーターを使いまわしするのですから。またGPUで行ったフレームワーク別の調査をTPUに適用したところ、TPUではモデル（ResNe
yoshiweb 2019/01/31
Qiita

GoogleColab

TPU

colab
リンク
TPUを使う時に気をつけること - Qiita
こんにちは。TensorFLow Advent Calendar 2018 2日目の記事です。今年の9月終わり頃、TPUv2をColaboratory上でTPU(v2)を利用できるようになりました。それに伴って、いくつかの記事でGPUとTPUの比較もされました。TPU初出の論文では、K80の15倍〜30倍とうたっていた1こともあり、実際のTPUの性能はどうなんだ、ということで注目を浴びましたが、みんな苦労しているようです。知り合いのGooglerに聞いても、やはりいろいろチューニングのポイントがあるようです。実際、公式のサンプル(KerasでFashion MNIST)をもとにコードを書いてみたのですが、プロファイラを見てみると、、、上図のUtilization of TPU Matrix Units を見ていただければわかるように、なにも工夫しない状態では Matrix Units
yoshiweb 2019/01/18
Qiita

tensorflow

tpu
リンク
1