TrioNetの検索：畳み込みとローカルおよびグローバルな自己注意の組み合わせ

Searching for TrioNet: Combining Convolution with Local and Global Self-Attention 最近、自己注意オペレーターは、ビジョンモデルのスタンドアロンビルディングブロックとして優れたパフォーマンスを示しています。ただし、既存の自己注意モデルは、多くの場合、手作業で設計され、CNNから変更され、1人のオペレーターのみをスタックすることによって取得されます。さまざまな自己注意演算子と畳み込みを組み合わせた、より広い範囲のアーキテクチャ空間が探索されることはめったにありません。このホワイトペーパーでは、重みを共有するニューラルアーキテクチャ検索（NAS）アルゴリズムを使用して、この新しいアーキテクチャ空間を探索します。結果のアーキテクチャは、畳み込み、ローカル自己注意、およびグローバル（軸）自己注意演算子を組み合わせたTr

[arxiv_reader]

最近、自己注意オペレーターは、ビジョンモデルのスタンドアロンビルディングブロックとして優れたパフォーマンスを示しています。ただし、既存の自己注意モデルは、多くの場合、手作業で設計され、CNNから変更さ