CLIPを試す - OpenAIのZero-shot画像分類器｜npaka

以下の記事を参考にして書いてます。 ・How to Try CLIP: OpenAI's Zero-Shot Image Classifier 1. はじめに今年はじめに、OpenAIはコンピュータービジョンの世界に爆弾を投下しました。2つの新しい画期的なモデルは、巨大なGPT3風のTransformerモデルが画像分野に侵入することを示唆しています。「DALL-E」（テキストプロンプトから画像を生成できるモデル）が多くの注目を集めましたが、この投稿では「CLIP」に焦点を当てます。「CLIP」は間違いなくより重要なZero-shot画像分類器になります。 これまで「画像分類」は、ターゲットクラスを適切に表す数百〜数千、さらには数百万のラベル付き画像のカスタムデータセットを収集し、それを使用して教師あり分類モデル（通常はCNN）を学習していました。このアプローチ（および「物体検出」のような