0. 忙しい方へ 完全に畳み込みとさようならしてSoTA達成したよ Vision Transformerの重要なことは次の3つだよ 画像パッチを単語のように扱うよ アーキテクチャはTransformerのエンコーダー部分だよ 巨大なデータセットJFT-300Mで事前学習するよ SoTAを上回る性能を約$\frac{1}{15}$の計算コストで得られたよ 事前学習データセットとモデルをさらに大きくすることでまだまだ性能向上する余地があるよ 1. Vision Transformerの解説 Vision Transformer(=ViT)の重要な部分は次の3つです。 入力画像 アーキテクチャ 事前学習とファインチューニング それぞれについて見ていきましょう。 1.1 入力画像 まず入力画像についてです。ViTはTransformerをベースとしたモデル(というより一部を丸々使っている)ですが、

菅首相、「６人排除」事前に把握　杉田副長官が判断関与―学術会議問題 2020年10月12日22時04分 首相官邸に入る菅義偉首相＝１２日、東京・永田町 日本学術会議が推薦した会員候補１０５人のうち６人が任命されなかった問題で、菅義偉首相がこの６人の名前と選考から漏れた事実を事前に把握していたことが分かった。除外の判断に杉田和博官房副長官が関与していたことも判明した。関係者が１２日、明らかにした。 官房副長官に側近坂井氏　補佐官は阿達氏ら―菅首相 首相は９日のインタビューで、会議側が提出した１０５人の推薦リストを「見ていない」と発言。９９人のリストを見ただけだとして６人の排除に具体的に関与しなかったかのような説明をしたため、一連の経緯や理由、誰が判断したのかが焦点となっていた。首相が６人の除外を前もって知っていたプロセスが明らかになったことで、さらなる説明責任が求められる。 今回の人事を首相