FacebookのDeiT(Data-efficient image Transformers) - Qiita

概要 Deitもtransformerベースの事前学習モデルだが、ViTやEfficientNetなどと比較すると、より少ないデータ・少ないパラメタで学習が行えるように「蒸留トークン」という考え方を導入している。詳細は、原著を参照のこと。 対象読者 人工知能・機械学習・深層学習の概要は知っているという方 理論より実装を重視する方 Pythonを触ったことがある方 目次 1.31本目-ライブラリのセットアップ 2.32本目-使用する画像データサンプルの取得 3.33本目-事前学習モデルのロード 4.34本目-前処理 5.35本目-推論（画像認識） 6.参考文献 7.著者 8.参考動画 1. 31本目 ライブラリのセットアップ 質問： ColabでDeiTを利用するために必要なモジュールをインストールせよ。 回答： huggingfaceのtransformersのみ入れれば、依存するものは入