なぜビジョントランスフォーマーはこれほど高性能なのか。
3つの要点 ✔️ ViTは、すべての層でより均一な表現（特徴量）を持っている。つまり各層での表現が似ている。 ✔️ ViTは、自己注意（self-attention）により早期にグローバルな情報を集約できる。 ✔️ ViTは、表現を下位層から上位層へ強く伝搬させる。 Do Vision Transformers See Like Convolutional Neural Networks? written by Maithra Raghu, Thomas Unterthiner, Simon Kornblith, Chiyuan Zhang, Alexey Dosovitskiy (Submitted on 19 Aug 2021 (v1), last revised 3 Mar 2022 (this version, v2)) Comments: Published on arxiv.
【論文5分まとめ】A ConvNet for the 2020s
この記事は、論文の内容を5分くらいで読めるようにまとめた記事です。そのため、前提となる知識や関連研究に関する説明は大幅に省略しています。 基本的には筆者の備忘録ですが、面白そうと思ったら是非ご自身でも読んでみてください。 概要 Vision Transformer以降、Visionの世界の中心はConvNetからTransformerへと移りつつある。しかし、ConvNetの設計空間は後発のTransformerのようには十分に「近代化」されておらず、古い慣習が残ったままであることも確かである。 本研究では、ConvNetの設計空間を再検討したConvNeXtを提案している。ConvNeXtは標準的なConvNetモジュールから構成され、標準的なConvNetのシンプルさと効率性を維持しながら、精度や拡張性において最先端のTransformer系手法と遜色なく、87.8%のImageNet
胃がんを対象としたAI病理診断支援ソフトウェアの汎用性を実証
オリンパスは、AI病理診断支援ソフトウェアの実用化に向けた共同研究を呉医療センター・中国がんセンターなど6施設と実施した。病理標本に対して感度100％、特異度50％以上の精度を達成し、胃がんを対象とした汎用性を実証した。 オリンパスは2021年8月25日、AI（人工知能）病理診断支援ソフトウェアの実用化に向けた共同研究で、同ソフトウェアが胃生検の病理標本に対して感度100％、特異度50％以上の精度で腺がんの判定をし、汎用性を実証したと発表した。 同社は、2017年から呉医療センター・中国がんセンターと共同で、AI病理診断支援ソフトウェアの開発に取り組んできた。2020年からは製品化に向けた汎用性の検証、精度向上を目指し、呉医療センター・中国がんセンターを含む国内6施設との共同研究を進めている。
双方向畳み込みプーリング「LiftPool」登場！
3つの要点 ✔️ 双方向プーリング手法"LiftPool"の提案 ✔️ 古典的な信号処理理論をもとに、プーリング処理での情報欠落を回避 ✔️ 画像分類・セグメンテーション等の様々なタスクで優れた性能・ロバスト性を発揮 LiftPool: Bidirectional ConvNet Pooling written by Jiaojiao Zhao, Cees G. M. Snoek (Submitted on 29 Sept 2020 (modified: 24 Feb 2021)) Comments: Accepted to ICLR2021. Subjects: bidirectional, pooling code： はじめに CNNにおけるプーリングは、受容野を広げること、入力変動に対するロバスト性を高めるなどのために非常に重要な動作です。しかしながら、既存のプーリングによる特徴量マ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://twitter.com/sam_murayama/status/1584148451385757702
CNN vs. ViT
ビジョン・トランスフォーマーはなぜCNNより強い？その仕組みを解明【論文速報】
Will Transformers Replace CNNs in Computer Vision?