はじめに(この記事の英語版はTPU VS GPU(English Edition)にあります。) Machine Learning部門の江間見です。ストックマークでは、自然言語処理技術の研究開発を行っています。 昨今、大規模データでニューラルネットワークを訓練し良い結果を得ようとするならば、深層学習モデルの訓練にかかる時間の膨大さに誰もが悩まされたことがあるかと思います。さらに、深層学習モデルはハードウェアのリソースを多く必要とします。 深層学習モデルの学習では、計算の特性上、CPU(Central Processing Unit)より GPU(Graphics Processing Unit)が高速であるため、GPUが推奨されます。しかし、GPU以外の選択肢として、TPU(Tensor Processing Unit)があります。 そこで、本記事では、自然言語処理のタスクで深層学習モデル
![TPU VS GPU(日本語版)](https://cdn-ak-scissors.b.st-hatena.com/image/square/98b8eec67db42c9c314376cc1bd9116d62608c29/height=288;version=1;width=512/https%3A%2F%2Ftech.stockmark.co.jp%2Fml%2Ftpu_vs_gpu%2Floss_function_for_pre-training_a_bert_with_tpu.png)