【25日目】Pretrained Transformers for Text Ranking:BERT and Beyond - やむやむもやむなし

この記事はNLP/CV論文紹介 Advent Calendar 2020の25日目の記事です。 今回はこれまでのフォーマットとは変えて、細かく踏み込んで論文を読んでいきます。 今回読むのは「Pretrained Transformers for Text Ranking:BERT and Beyond」というタイトルの論文です。 arxiv.org こちらは検索タスクに対する基礎的なところから始め、検索に対するBERTの活用事例、さらにBERTのその先についても言及しているサーベイ論文です。 ただし分量としては155ページもあり、全てを解説することは難しいので、BERTに関する部分にフォーカスして解説していきます。 検索タスクについて クエリと文書の関連性を計算する シンプルな適用: mono BERT 長い文書への適用 コンテキストの活用: CEDR 多段に組み合わせて長い文書に対応:

[takuya-a]

"検索タスクに対する基礎的なところから始め、検索に対するBERTの活用事例、さらにBERTのその先についても言及しているサーベイ論文です"