公正な表現学習は、ダウンストリームアプリケーションに関係なく、公平性と有用性を確保するためにユーザーデータをエンコードします。ただし、個別に公正な表現を学習すること、つまり、類似した個人が同様に扱われることを保証することは、コンピュータービジョンなどの高次元の設定では依然として困難です。この作業では、高次元データの個人の公平性を証明するための最初の表現学習方法であるLASSIを紹介します。私たちの重要な洞察は、生成モデリングの最近の進歩を活用して、生成潜在空間内の類似した個人のセットをキャプチャすることです。これにより、敵対的なトレーニングを使用して表現間の距離を最小限に抑えることにより、類似した個人が互いに接近してマッピングされている個別に公正な表現を学習できます。最後に、ランダム化された平滑化を使用して、類似した個人を近くにマッピングし、ダウンストリームアプリケーションのローカルロバス

VL-LTR: Learning Class-wise Visual-Linguistic Representation for Long-Tailed Visual Recognition ディープラーニングベースのモデルは、現実の世界でロングテールデータを処理するときに課題に直面します。既存のソリューションは通常、画像モダリティに基づいて、クラスの不均衡の問題に対処するために、いくつかのバランス戦略または転移学習を採用しています。この作業では、VL-LTRと呼ばれる視覚言語のロングテール認識フレームワークを提示し、ロングテール認識（LTR）にテキストモダリティを導入することの利点に関する実証的研究を実施します。既存のアプローチと比較して、提案されたVL-LTRには以下のメリットがあります。 （1）私たちの方法は、画像から視覚的表現を学習するだけでなく、インターネットから収集されたノイズ

Visual Place Recognition (VPR) is generally concerned with localizing outdoor images. However, localizing indoor scenes that contain part of an outdoor scene can be of large value for a wide range of applications. In this paper, we introduce Inside Out Visual Place Recognition (IOVPR), a task aiming to localize images based on outdoor scenes visible through windows. For this task we present the ne

多くの異なる研究は、エピソード記憶が生成プロセスであることを示唆していますが、ほとんどの計算モデルはストレージビューを採用しています。この作品では、生成エピソード記憶の計算モデルを提案します。これは、海馬がエピソードの選択された側面を記憶の痕跡として保存および取得するという中心的な仮説に基づいていますが、これは必然的に不完全です。想起時に、新皮質は、セマンティック完了と呼ばれるプロセスで、一般的なセマンティック情報に基づいて欠落している情報を合理的に埋めます。エピソードとして、コンテキストを表すさまざまな背景で補強された数字の画像（MNIST）を使用します。私たちのモデルはVQ-VAEに基づいており、インデックス行列の形式で圧縮された潜在表現を生成しますが、それでもある程度の空間分解能があります。注意がインデックスマトリックスの一部を選択し、他の部分は破棄されると想定します。これはエピソー

POEM: 1-bit Point-wise Operations based on Expectation-Maximization for Efficient Point Cloud Processing リアルタイムのポイントクラウド処理は、多くのコンピュータービジョンタスクの基本ですが、リソースが制限されたエッジデバイスの計算問題には依然として挑戦しています。この問題に対処するために、効率的な点群処理のためにXNOR-Netベースのバイナリニューラルネットワーク（BNN）を実装しますが、ガウス分布の重みと学習不可能なスケールファクターという、2つの主な欠点のためにパフォーマンスが大幅に低下します。この論文では、効率的な点群処理のために、期待値最大化（POEM）に基づくポイントごとの操作をBNNに導入します。 EMアルゴリズムは、ロバストなバイモーダル分布の重みを効率的に制約できます

ソースドメインとターゲットドメインの間の隣接スペースを利用することは、最近の教師なしドメイン適応アプローチの1つです。ただし、隣接インスタンスの予測でソースラベルがターゲットラベルよりも優勢である、ラベルの平衡崩壊の問題は、これまで対処されていません。この論文では、それに取り組むために、隣接空間における不確実性の高いインスタンスのエントロピーを最小化するインスタンスごとのミニマックス戦略を提案します。ミニマックス問題の解法により、ビシナル空間を2つの部分空間に分割します。対照空間とコンセンサス空間です。対照的な空間では、インスタンスを制約して対照的なビューとラベルを付けることでドメイン間の不一致を軽減し、コンセンサス空間はドメイン内のカテゴリ間の混乱を減らします。私たちの方法の有効性は、Office-31、Office-Home、VisDA-Cなど、最先端のパフォーマンスを実現する公開ベン

Revisiting Efficient Object Detection Backbones from Zero-Shot Neural Architecture Search オブジェクト検出モデルでは、検出バックボーンは全体的な推論コストの半分以上を消費します。最近の研究では、Neural Architecture Search（NAS）を使用してバックボーンアーキテクチャを最適化することにより、このコストを削減しようとしています。ただし、オブジェクト検出用の既存のNASメソッドは、数百から数千のGPU時間の検索を必要とするため、ペースの速い研究開発では実用的ではありません。この作業では、この問題に対処するための新しいゼロショットNAS手法を提案します。 ZenDetという名前の提案された方法は、ネットワークパラメータをトレーニングせずに効率的な検出バックボーンを自動的に設計し、アー

3D Pose Estimation and Future Motion Prediction from 2D Images この論文では、3D人体ポーズを推定し、RGB画像シーケンスから将来の3Dモーションを予測するという、相関性の高いタスクに共同で取り組むことを検討しています。リー代数のポーズ表現に基づいて、人間の運動運動学を自然に保存する新しい自己投影メカニズムが提案されています。これは、エンコーダー-デコーダートポロジに基づくシーケンス間マルチタスクアーキテクチャによってさらに促進されます。これにより、両方のタスクで共有される共通の基盤を活用できます。最後に、フレームワークのパフォーマンスを向上させるために、グローバルな改良モジュールが提案されています。 PoseMoNetと呼ばれる私たちのアプローチの有効性は、Human3.6MおよびHumanEva-Iベンチマークでのアブレーシ

Generative Adversarial Networks and Adversarial Autoencoders: Tutorial and Survey これは、Generative Adversarial Network（GAN）、敵対的オートエンコーダー、およびそれらのバリアントに関するチュートリアルと調査論文です。まず、敵対的学習とバニラGANについて説明します。次に、条件付きGANとDCGANについて説明します。モード崩壊問題が導入され、この問題を解決するために、ミニバッチGAN、展開GAN、BourGAN、混合GAN、D2GAN、およびワッサースタインGANを含むさまざまな方法が導入されています。次に、GANの最尤推定について、f-GAN、敵対的変分ベイズ、ベイズGANとともに説明します。次に、GAN、InfoGAN、GRAN、LSGAN、エネルギーベースのGAN、Ca

予測のアンサンブルは、個別に行われる個々の予測よりもパフォーマンスが優れていることが知られています。ただし、セマンティックセグメンテーションなど、大量の計算リソースを必要とするタスクの場合、個別にトレーニングする必要のある学習者のアンサンブルを作成することは、ほとんど扱いにくいものです。この作業では、アンサンブルの従来の重いトレーニングコストを回避しながら、アンサンブルメソッドによって提供されるパフォーマンスの向上を活用してセマンティックセグメンテーションを強化することを提案します。私たちの自己アンサンブルフレームワークは、機能ピラミッドネットワークメソッドによって生成されたマルチスケール機能セットを利用して、独立したデコーダーにフィードし、単一のモデル内にアンサンブルを作成します。アンサンブルと同様に、最終的な予測は、各学習者によって行われた予測の集計です。以前の作品とは対照的に、私たち

Going Grayscale: The Road to Understanding and Improving Unlearnable Examples 最近の研究では、知覚できない摂動を適用して、学習不可能な例（ULE）を作成できることが示されています。つまり、トレーニング中に分類子を改善するためにコンテンツを使用できない画像です。この論文では、ULEを理解し、ULEが最初に作成されたとおりに改善するために研究者がたどるべき道を明らかにします（ULEO）。この論文は4つの貢献をしています。まず、ULEOが色を悪用し、その結果、敵対的なトレーニングに頼ることなく、単純なグレースケールの事前フィルタリングによってその影響を軽減できることを示します。次に、ULEO-GrayAugsと呼ばれるULEOの拡張を提案します。これは、最適化中にグレースケールの知識とデータ拡張を利用することにより、生

Joint inference and input optimization in equilibrium networks ディープラーニングの多くのタスクには、ネットワークへの入力を最適化して、目的を最小化または最大化することが含まれます。例としては、生成モデルの潜在空間を最適化してターゲット画像に一致させたり、入力を逆に摂動させて分類器のパフォーマンスを悪化させたりします。ただし、このような最適化を実行するには、勾配ステップごとにネットワークを完全に順方向および逆方向に通過する必要があるため、従来は非常にコストがかかります。別の一連の研究で、最近の研究スレッドは、深層平衡（DEQ）モデルを開発しました。これは、従来のネットワーク深度を無視し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスです。この論文では、これら2つの設定の間に自然な相

FedDropoutAvg: Generalizable federated learning for histopathology image classification 連合学習（FL）を使用すると、参加サイトのデータを共有することなく、深層学習モデルの共同学習が可能になります。医療画像分析タスクにおけるFLは比較的新しく、拡張の余地があります。この研究では、一般化可能なモデルをトレーニングするための新しい連合学習アプローチであるFedDropoutAvgを提案します。提案された方法は、クライアントの選択とフェデレーション平均化プロセスの両方でランダム性を利用します。 FedDropoutAvgを、実際のマルチサイト組織病理学画像分類タスクのFLシナリオのいくつかのアルゴリズムと比較します。 FedDropoutAvgを使用すると、最終モデルが他のFLアプローチよりも優れたパフォーマ

A Novel Framework for Image-to-image Translation and Image Compression 機械学習を使用したデータ駆動型のパラダイムは、画像処理と通信で広く普及しつつあります。特に、画像から画像（I2I）への変換は、画像合成、スタイル転送、画像復元などの画像処理の問題に対して一般的で広く使用されているアプローチです。同時に、ニューラルイメージの圧縮は、ビジュアルコミュニケーションにおける従来のコーディングアプローチのデータ駆動型の代替手段として登場しました。このホワイトペーパーでは、マルチドメイン画像合成に焦点を当てて、これら2つのパラダイムを組み合わせてI2I圧縮および変換フレームワークを統合する方法について説明します。最初に、量子化とエントロピーコーディングをI2I変換フレームワーク（つまりI2Icodec）に統合することにより、分散

Attribute-specific Control Units in StyleGAN for Fine-grained Image Manipulation 近年、StyleGANによる画像操作への関心が高まっており、最近の研究では、いくつかのセマンティック潜在空間を分析して、生成された画像の属性を編集することに大きな成功を収めていますが、これらの潜在空間ではセマンティックおよび空間操作の精度が限られているため、既存の取り組みは、きめ細かいStyleGAN画像操作、つまりローカル属性変換では無効になります。この問題に対処するために、機能マップと変調スタイルの複数のチャネルで構成される属性固有の制御ユニットを発見します。具体的には、個々のコントロールユニットではなく、コントロールユニットの変調スタイルチャネルと機能マップを共同で操作して、意味的および空間的に解きほぐされたコントロールを取

NomMer: Nominate Synergistic Context in Vision Transformer for Visual Recognition 最近、事実上の要素として自己注意（SA）を備えたVision Transformers（ViT）が、コンピュータービジョンコミュニティで大きな可能性を示しています。効率とパフォーマンスのトレードオフのために、一連の作業はローカルパッチ内でSA操作を実行するだけですが、グローバルなコンテキスト情報は破棄されます。これは視覚認識タスクに不可欠です。この問題を解決するために、後続のグローバルローカルViTは、モデル内でローカルSAとグローバルSAを並行して、または別の方法で結合することに挑戦します。それにもかかわらず、徹底的に組み合わされたローカルコンテキストとグローバルコンテキストは、さまざまな視覚データの冗長性が存在する可能性があ

Non Parametric Data Augmentations Improve Deep-Learning based Brain Tumor Segmentation 磁気共鳴画像法（MRI）データからの自動脳腫瘍セグメンテーションは、治療に対する腫瘍の反応と個別化された治療の層別化を評価する上で重要な役割を果たします。手動セグメンテーションは退屈で主観的です。脳腫瘍セグメンテーションのための深層学習ベースのアルゴリズムは、客観的なものを提供する可能性があります。ただし、このようなアルゴリズムのトレーニングには、常に利用できるとは限らない大規模なデータセットが必要です。データ拡張技術により、大規模なデータセットの必要性が減る可能性がありますが、現在のアプローチはほとんどパラメトリックであり、パフォーマンスが最適ではない可能性があります。脳腫瘍セグメンテーションのデータ拡張の2つのノン

Dodging DeepFake Detection via Implicit Spatial-Domain Notch Filtering DeepFake画像の現在の高忠実度の生成と高精度の検出は、軍拡競争にあります。非常に現実的で「検出を回避する」DeepFakeを作成することで、次世代のDeepFake検出機能を向上させるという究極の目標を達成できると確信しています。この論文では、暗黙の空間領域ノッチフィルタリングを実行することにより、画質を損なうことなく偽の画像のアーティファクトパターンを低減するためのシンプルで強力なパイプラインを提案します。最初に、周波数領域のノッチフィルタリングは、空間領域の周期的なノイズを除去するのに効果的であることが有名ですが、ノッチフィルタに必要な手動設計のため、当面のタスクでは実行不可能であることを示します。したがって、ノッチフィルタリング効果を再現