深層学習・CNNにおける画像データセット作成時の画像重複を一瞬で検知する方法 - Qiita

はじめに 画像分類タスクに取り組むにあたって、自分で画像を集め、ラベリングしてといった作業を行うと必ずと言っていいほど、同じ画像が混入してしまいます。特にこれはインターネットから画像をスクレイピングしてきたときに顕著で、画像収集の段階ではそれを防ぐのは難しいような気もします。 ということで、今回の記事ではその重複した画像をいかに楽をして探すか。これに焦点を当てていきたいと思います。 ちなみにはじめてのQiitaです！ よろしくお願いします！ 画像の重複を見つける手段① 画像の重複、すなわち同じ画像同士はどのようにして発見することができるのか。まずはそこから考えていきましょう。 Qiitaを探していると以下のような記事を発見しました。 この記事では画像を任意次元の特徴ベクトル空間に配置して、その特徴ベクトルごとの距離を調べることによって画像の類似度を算出しています。 『距離』なので、小さいほ