地理情報用ANNを自作する。 - Qiita

本notebookは情報検索・検索技術 Advent Calendar 2022の17日目の記事です。 はじめまして、nadareと申します。普段はMLエンジニアとしてレコメンドエンジン等を作っています。 今回は緯度経度の距離計算に用いられるhaversine関数を用いた近傍探索を、近似近傍探索(ANN)により高速化したのでその実装とコードを公開します。 記事本体となるNotebookはこちらになります。 https://www.kaggle.com/code/nadare/ivfxl2rrflat-for-haversine おまけ(ポエム) 近似近傍探索、個人的に好きな分野ですが割と使いどころが難しいです。 近似近傍探索が有効なのは大量の画像のembeddingに対してコサイン類似度で探したいみたいなケースだと思います。ユークリッド距離のような条件ではK-D TreeやBall Tre