画像認識の革新モデル！脱CNNを果たしたVision Transformer（ViT）を徹底解説！ 2020.10.16 AI論文 画像処理 はじめに AIの世界では毎年最先端（SOAT：state-of-the-art technology）モデルが発表され、多くの新技術が生まれています。しかし、2017年に発表され「Atteintion is All you need」という論文で紹介された「Transformer」というモデルは、AIの歴史全体でみても大きな影響力をもつ極めて革新的な技術です（Transformerについてはこちらの記事をご参照ください。「自然言語処理の必須知識 Transformer を徹底解説！」）。Transformerはそれまでの自然言語処理の世界を一新し、その後発表されるモデルのデファクトスタンダートになりました。ただし、画像処理の世界では障壁（記事内で詳し

2018年にGoogleの研究チームから発表されたMobileNetV2の詳細解説を発表論文とGoogleブログを主な参考文献として行う。なお、説明のために引用した図は下記発表論文もしくはGoogleブログから用いた。 元論文： MobileNetV2: Inverted Residuals and Linear Bottlenecks （初稿2018年１月13日、最終版2019年3月21日） https://arxiv.org/abs/1801.04381 Googleブログ： MobileNetV2: The Next Generation of On-Device Computer Vision Networks （2018年4月3日） https://ai.googleblog.com/2018/04/mobilenetv2-next-generation-of-on.html サ

はじめに Transformerを物体検出にはじめて取り入れた「DETR（DEtection Transformer）」が2020年５月にFacebookから発表されました。DETRは人間による手作業を大幅に減らすことに成功し、End-to-Endモデルに近く誰でも利用しやすいモデルになっています。また、「水着があるなら、一緒に写っている板のようなものはサーフボードである確率が高い」など、一枚の画像内にあるオブジェクト間の関係性を利用する形で物体検出が可能になりました。こうしたことがどうして可能になったのかを以下で見ていきたいと思います。 なお、Transformerに関しては一定程度の理解がある前提で説明しております。Transformerに関しても記事を作成しておりますので、下記をご参照ください。 公式論文 「End-to-End Object Detection with Trans

物体検出の飛躍になるか!? 物体中心表現を獲得するGoogle Brainの”Slot-Attention”を徹底解説！ 2020.07.20 AI論文 画像処理 はじめに 近年、画像認識の世界は目覚ましい進歩を遂げています。先日、Transformer(Attentionを利用した構造が特徴)を利用したDETRがFacebookのリサーチチームから発表され、大きな話題となりました。（参考としてこちらを紹介した記事も下記でご紹介しています。）今回、取り上げるのは同じくAttentionを構造に取り入れた「Object-Centric Learning with Slot Attention」という論文です。しかし、このSlot-Attentionを支えている概念はDETRなどとは異なる「物体中心表現（Obejct-Centric representations）」というものです。「物体中心

はじめに 自然言語処理（Natural Language Processing: NLP）の文脈から誕生したTransformerはそのモデルのシンプルさにもかかわらず、大きな成果をあげることに成功しました。そのため、その後NLPにブレイクスルーをもたらしたBERTやGPT-2などのモデルはTransformerをもとにつくられています。現在（2020年）では、DETRなど最新の物体検出モデルにも使われるようになり、Transformerは機械学習を学ぶ上では避けて通ることができないモデル・アイディアであるといえるでしょう。 今回は、近年の最重要モデルといえるTransformerについて発表論文「All you need is attention」を中心に、その誕生背景からモデル概念まで一から解説したいと思います。 なお、今回の内容は以下の二つに大別されます。 ．Transformerが