検索の5年前と、今と、これから考えること

2021年より前の記憶 振り返ると、2018年あたりは検索界隈にとっての大きな転換期だったような気がします。当時の僕はまだWord2VecやFastTextを使い、なんとかして検索を賢くできないかと試行錯誤をしていましたが、そこにBERTが発表され[1]、翌2019年にはAmazonがセマンティック検索の論文を出しました[2]。なんだかよく分からないけど、今後の検索のあり方が変わってしまうかもしれないと予感したことを、今でもよく覚えています。 一方で、その頃の現場では、検索の主流はあくまでキーワードマッチでした。システム面では、検索エンジンやデータ処理のミドルウェアがJavaのエコシステムを中心に回っていたため、アプリケーションもJavaで書かれるべきという雰囲気がありました。また、検索エンジニアといえば検索エンジンの運用や内部構造に詳しい人、という認識が一般的で、検索×機械学習をやってい

[nguyen-oi]

キーワード検索とベクトル検索のハイブリッドが現実解っていう分析はめちゃ納得感ある

[tofu-kun]

“検索結果をスプレッドシートにダンプして、人間の目で一行ずつ凝視して良し悪しを評価していました。この生データと向き合う作業があったからこそ、圧縮された指標だけでは見落としやすい個別の問題やクエリ分布の