【コード付き】画像用Transformerを利用して衛星画像の分類機械学習モデルを作成する | 宙畑

色々な分野で応用され始めているTransformerの簡単な解説と実際に衛星画像を利用した雲判定機械学習モデルを作成していきます。 宙畑の2020年Kagglerのアンケート記事でも触れましたが、最近は自然言語処理で使われていたTransformerという技術が、自然言語処理以外の分野でも利用されるようになり、精度の高い結果を出すようになりました。 Kaggleランカーの9人に聞いた、2020年面白かったコンペ9選と論文9選 今回の記事では、Transformer や画像を扱うための Vision Transformer(ViT) についての簡単な解説をおこない、実際に ViT を利用して衛星画像の分類タスクを行います。コードはGoogle Colaboratory(GPU) 上で動かすことを想定していますので、すぐに実行できるようになっています。 Transformer Transfor

[sh19910711]

"Vision Transformer(ViT): CNNを全く使わずにAttentionのみでモデルが構築 + CNNでは難しかった画像の離れた位置の情報も利用 + 画像を複数枚に分割 / 衛星画像に雲が写っている(cloudy)か、写っていない(clear)かの分類" 2021