Transformer Memory as a Differentiable Search Index (NeurIPS 2022)

Transformer Memory as a Differentiable Search Index (NeurIPS 2022) 論文紹介: Transformer Memory as a Differentiable Search Index (NeurIPS 2022) この記事は情報検索・検索技術 Advent Calendar 2022 の 16 日目の記事です． この記事では，NeurIPS 2022 に採択された T5 を用いた検索手法に関する Google Research の論文を紹介します．紹介する論文の情報は以下の通りです． タイトル: Transformer Memory as a Differentiable Search Index 著者: Yi Tay, Vinh Q. Tran, Mostafa Dehghani, Jianmo Ni, Dara Bahr

[knok]

事前にそれなりに適したIDが文書に付与されるような工夫がポイントなのかな

[shunkeen]

所与の文章を階層的に分類した意味構造と対応するIDをクエリから生成するぶっ飛び技術。所与の文章から学習するから、特殊な業界用語も拾えるのかな。あとインデックス構築に時間がかかる分、検索時間は速いのかな。