google/siglip-base-patch16-256-multilingual を使って、ローカルの画像を日本語で検索してみる｜松xRのnote

これを使って、以前、昨年11月に公開された stabilityai/japanese-stable-clip-vit-l-16 を使ってやってみたときと同じように、ローカルの画像を日本語で検索してみるというのをやってみました。 やることは 手元の画像を google/siglip-base-patch16-256-multilingual を使ってベクトルにして、それをまとめてJSONに保存 検索したい言葉を google/siglip-base-patch16-256-multilingual を使ってベクトルにして、1．で作成したJSONに記録したベクトルとコサイン類似度で比較して、類似度が高いものを返す というシンプルなことです。今回はGoogle Colabで動くようにしてみました。 まず、自分のGoogle Driveに、以下のようなフォルダを作って、検索対象となる画像を保存して