はてなブックマーク

先日、Twitterでtransformersとscikit-learnをscikit-learnのPipelineを使って組み合わせることができることを知りました。 I made a small proof-of-concept of how @huggingface transformers can be combined with scikit-learn classifiers on top and then later wrapped with scikit-learn pipelines https://t.co/PnC1PFv2uA — merve 💛 (@mervenoyann) June 14, 2022 構成としては、transformersのモデルの最終層のアウトプットを特徴量としてscikit-learnのモデルに渡すというよくあるパターンだと思うのですが、tra

皆さん、Hugging Face CourseというHugging Face社が無料公開している講座が存在することをご存知でしょうか？私は、kaggleのコンペに参加した際に、DiscussionでNLPコンペを始めた人におすすめの教材として紹介されていたのをきっかけに知りました。内容はかなり充実しており、これからHugging Faceのライブラリを活用していきたいという方にお勧めできると思います。（まだ全ての内容を読んだわけではないですが、目次を見た感じ良さそうです。） 今回の記事では、Courseでどのような内容が学べるのかをざっくり紹介するとともに、現在進行形で取り組んでいる日本語翻訳プロジェクトについても紹介しています。 Hugging Face Courseとは？ Hugging Face Course Introduction - Hugging Face NLP Cours

先日終了したkaggleのNBMEコンペに参加し、49位で銀メダルを獲得しました。 参加期間中に、医療分野のtransformerモデルについて調べたので、まとめてみようと思います。（抜け漏れがあれば、コメントやSNSなどで教えていただけると大変助かります。） BERT SciBERT (2019) base uncased, cased models: https://huggingface.co/models?sort=downloads&search=allenai%2Fscibert github: https://github.com/allenai/scibert paper: https://aclanthology.org/D19-1371/ BioBERT (2019) base, large cased models: https://huggingface.co/mo