はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 本記事は「求ム！Pythonを使ってAzureで開発する時のTips！【PR】日本マイクロソフト Advent Calendar 2020」の17日目の記事です。空いていた枠に後日投稿しました。 Azure Machine Learning という機械学習周りの広い範囲をカバーするサービスがあります。Azure Machine Learning はデータセット管理からモデルの開発、実験の管理、モデルの管理、デプロイまで、機械学習モデルの開発に必要なほぼほぼ全ての工程をこなすことができるサービスですが、本記事ではAzure Machine

はじめに 文を投げるとBERTで文ベクトルに変換して返してくれるサーバーを作ります。日本語も英語も利用したいので両方対応させます。 BERTとは Googleが2018年の終わり頃に発表した自然言語処理の事前学習済みモデルです。複数のNLPタスクでstate-of-the-artを叩き出し、その凄まじい性能でNLP界隈で話題になりました。 ただモデルのサイズも凄まじ過ぎて、一番性能の高いBERTは安GPUではFine Tuningはおろか推論すらOut of memoryで動きません。目の前に自然言語処理の最先端があるのにそれを使えないのは悔しい限りです。 目的 そこそこのCPUと大容量のメモリを積んだちょっと強い民生向けコンピューター（GPU非搭載）上でBERTを動かし、文ベクトルを出力させます。 データを前処理的にBERTの文ベクトルに変換することで、強力な計算リソースが無い状況でもB