Cloud TPUを用いたBERT推論処理基盤の開発
ML事業部の近江崇宏です。 Stockmarkでは日々、膨大な数のニュース記事に対してBERTの推論処理を行なっています。このような重いタスクを効率的に処理するために、最近、TPUを用いたBERTの推論処理基盤をGoogle Cloud Platform上に構築し、運用を開始しました。その結果として、これまで1週間程度かかっていた、数千万件のデータの処理を1日以内で完了できるようになるなどの大きな効果を得られました。今回はこの取り組みについて紹介します。 はじめに近年のニューラルネットワークの研究の発展により、画像認識や自然言語処理の様々なタスクを人間と同等もしくはそれ以上のレベルで処理できるようになりました。その結果として、ビジネスでのニューラルネットワークの利用が進んでいます。その一方で、ニューラルネットワークには、モデルの巨大さに起因して処理時間が長いという大きな問題があります。その
Google ColaboratoryのTPUを試してみる
TL;DR ColabのTPUを使って今すぐCNNを試してみよう。ものすごい速いぞ。 はじめに 9/26夜、Google Colaboratoryユーザーに激震が走った。 ハードウェアアクセラレータにTPUが使えるようになってる！？TPU(Tensor Processing Unit)凄さはこのニュースを見れば恐ろしいほど伝わってくる。 COOL Chips 21 - GoogleのWebサービスを支える「TPU」 https://news.mynavi.jp/article/20180424-621091/ TPU v1はIntelのHaswell CPUとNVIDIAのK80 GPUと比較すると、性能は15～30倍、電力効率は30～80倍になっているという。 NVIDIA K80は現在ColabのGPUアクセラレータとして用いられているGPUだ。もしこの15～30倍という値が本当なら、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
