Kaggle「CommonLit Readability Prize」コンペ25位の振り返りと上位解法まとめ - u++の備忘録
8月2日に終了したKaggle「CommonLit Readability Prize」コンペにチームで参加し、25位でした。 3682チーム参加で、17位までが金メダル圏内で、もう一歩という結果でした。 コンペ概要 チームでの取り組み 上位解法 全体共通の傾向 1位 2位 3位 4位 5位 6位 9位 12位 13位 14位 15位 16位 コンペ概要 英語の文章の「読みやすさ」の値を-3から3程度の範囲（大きいほど読みやすい）*1で予測する問題でした。 正解の値は、2つの文章の比較結果を利用する「Bradley–Terry model」*2で付けられていたそうです*3。 推論時は文章単体に対してスコアを予測する必要がありました。 データセットのサイズは小さく、学習用データセットが約3000で、評価用データセットが2000*4以下でした。 与えられたデータセットのカラムは、以下の通りです
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Maxwell! 🌃 🌻 🎃 👻 on Twitter: "Transformer の解説も含む貴重な日本語 NLP の本が Leanpub に 📚 WishList に加えさせていただいたのだけど，どの程度まで執筆が終わっているのだろうか（15% completion の表示が気になる… https://t.co/4AMBqmdOap"
https://twitter.com/kuz44ma69/status/1452422226938982402
KUBOKO on Twitter: "【SIGNATE】BERTで医療論文を2値分類する(PyTorch BERT)｜KUBOKO SIGNATE論文コンペでの実装を解説しています。 雑な部分もありますがよろしければ御覧ください🤗 https://t.co/6yH4zPxw9R #zenn"
goto@meta翻訳開発者 on Twitter: "Attentionがどのように学習しているのかを分析する論文。 この学習は2段階プロセスに近似でき、 ・まず単語がどう変換されるかを学習 ・次に(単語の変換先は分かっているので)どの単語に注目するかを学習 というような仕組みらしい… https://t.co/7vBVxVWbl9"
Akiva Miura (Atid Ltd.) on Twitter: "https://t.co/2SV44r6BP9 GPT-1やBERTが出てきた頃からずっともやもやしてた、結局位置表現にはSinusoidalか学習可能埋め込みのどっちがいいんやっていう話について、ちゃんと研究した論文がICLR… https://t.co/2PNRjo7QaQ"
u++ on Twitter: "NVIDIA がセッションベース推薦ライブラリ「Transformers4Rec」の実装を公開。HuggingFace Transformers の NLP モデルや事前学習を駆使。複数の国際会議コンペ入賞の実績に加え、RecSy… https://t.co/00k8u5nxHm"
Towards Data Science on Twitter: "Build NLP Pipelines With HuggingFace Datasets by @jamescalam https://t.co/X2CZIrvBpR"
小猫遊りょう（たかにゃし・りょう） on Twitter: "グーグルのAI研究（Primer：PRIMitives searched transformER） 進化によって設計されたシンプルで効果的なTransformerの改良。Primerは、より優れたスケーリング則（べき乗則）を示し… https://t.co/komFP46ttU"
株式会社AI Shift on Twitter: "＊＊＊TECHブログ更新＊＊＊ Kaggleで学んだTransformerモデルをfine-tuningする際のTipsをまとめました！ 今回は過学習抑制についてです！ https://t.co/Hz0MB5q6fB"
akira on Twitter: "https://t.co/ZCFShZRLyF Transformerを使った、軽量ネットワークMobile-Formerを開発した。MobileNetとTransformerを双方向の結合で接続することで局所と大局情報２つを処理… https://t.co/xvS5FaxNtH"
yu4u on Twitter: "最近huggingface使ってみて、CommonLitコンペのソリューションとか反省会資料でお勉強したのだけど、これを先に見れてるとすっごい楽だったなぁという感じに網羅されてる資料！本文とは関係ないけどpooler_output… https://t.co/1sMmeRxDVn"
ELYZA, Inc. on Twitter: "Microsoft社でデプロイされている医療論文検索エンジンの解説論文。BM25で検索し，BERTでrerankする。BERTは医療ドメインのテキストで事前学習し，検索データセットMS MARCOのうち医療単語を含むデータでfin… https://t.co/BTbSqp6TqW"
株式会社AI Shift on Twitter: "＊＊＊TECHブログ更新＊＊＊ Kaggleで学んだTransformerモデルをfine-tuningする際のTipsをまとめました！ 今回は精度改善についてです！ https://t.co/VEYb8HkGNj"
株式会社AI Shift on Twitter: "＊＊＊TECHブログ更新＊＊＊ Kaggleで学んだTransformerモデルをfine-tuningする際のTipsをまとめました！ 全２回の予定で、今回は学習効率化についてです！ https://t.co/v9mWA8S32f"
しぃたけ on Twitter: "CommonLitの解法と初めての自然言語処理コンペの取り組み方について記事にしました。 https://t.co/KmuVVck6U1"
u++ on Twitter: "はてなブログに投稿しました #はてなブログ Kaggle「CommonLit Readability Prize」コンペ25位の振り返りと上位解法まとめ - u++の備忘録 https://t.co/I8ujWooEJU"
ステート・オブ・AI ガイド on Twitter: "ユーザーの行動履歴から商品などを推薦するセッションベースの推薦システムが、自然言語処理分野での技術の発展に追随しながら大きな発展を遂げています。本記事では、深層学習に基づく系列・セッションベースの推薦システムの最新動向をまとめました https://t.co/ThNMyybbXT"
goto@meta翻訳開発者 on Twitter: "言語モデルにとって語順は重要な要素なのか、を分析している論文。 BERTベースのモデルは、多くの場合、語順を入れ替えてテストしてもGLUEタスクでのスコアはあまり変わらなかったという話。… https://t.co/AmYvULX4ei"
小猫遊りょう（たかにゃし・りょう） on Twitter: "NVIDIA、推論のブレイクスルーによりクラウドからエッジに至るまでの対話型 AI をよりスマートでインタラクティブに https://t.co/hNOfTpXJVn 『Transformerベースのモデルの 1 つであるBERT… https://t.co/L8LwIlw2wc"