タグ

RoBERTaに関するwakame1367のブックマーク (1)

  • SIGNATE Student Cup 2020 [予測部門] 参加記 - MosaasoMの日記

    はじめに 去年に引き続きSIGNATE学生コンペに出てました。 今年はNLPコンペです。 NLPか〜考察ゲーってよりはSOTAな手法をガチャガチャするゲームなりそうで辛いな〜と思いつつ参加しました。 案の定SOTAな手法をガチャガチャして、闇の中を彷徨う苦行をしてたら終わったんですが、NLP初心者だったのでそれでも学びが多くて良かったです。 結果 21位でした!public40位くらいからのShake Upだったので満足です。 ちなみにBERT-base-uncasedに分類ヘッド付けてBERTごとFinetuningしたものと,CountVector+LightGBMとSWEM-max+LightGBMの6:2:2のblendでした. 後述しますが不均衡なデータだったので、 BERTモデルはUnder-sampleしてrandom seed average(n=6), その他のLight

    wakame1367
    wakame1367 2020/08/27
    自然言語処理詳しくないので学びが深い
  • 1