BERT with SentencePiece で日本語専用の pre-trained モデルを学習し、それを基にタスクを解く - クックパッド開発者ブログ

研究開発部の菊田（@yohei_kikuta）です。機械学習を活用した新規サービスの研究開発（主として画像分析系）に取り組んでいます。 最近は、社内の業務サポートを目的として、レシピを機械学習モデルで分類して Redshift に書き込む日次バッチを開発・デプロイしたりしてました。 ここ数ヶ月で読んだ論文で面白かったものを３つ挙げろと言われたら以下を挙げます。 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Focal Loss for Dense Object Detection Exponential expressivity in deep neural networks through transient chaos 本記事では、BERT というモデルをクックパッドのレ

[yuiseki]

めも

[knaka20blue]

“は TF-IDF を特徴量として学習した Logistic Regression と、word2vec による embedding を用いた LSTM です。 multilingual は提供されている学習済みの多言語 BERT を基に fine-tune したモデルです。 our model はクックパッドのデータで学習し

[psfactory]

BERT with SentencePiece で日本語専用の pre-trained モデルを学習し、それを基にタスクを解く - クックパッド開発者ブログ

[knok]

自前のモデル作るにはやはり数日かかるか…

[studio_graph]

ベースライン作るのに協力しました！(負けたけど

[tuun]

小さいほうのモデルだと意外と金かからないんだな...試してみたくなった

[keijak]

素のmultilingualモデルをfine-tuningするだけでもそこそこ精度出てる。自前でコーパス用意してpre-trainingするのは大変そうなイメージだけどわりと現実的なのかな。

[elu_18]

BERT w/ SentencePiece で日本語専用の pre-trained モデルを学習して、さらに fine-tuning で具体的なタスクを解いたという話を書きました。 https://t.co/30JUizrkON

[fufufukakaka]

よい

[syou6162]

昨日この辺めっちゃ追ってたけど、流れが整理されていて大変分かりやすかった