Self-Supervised Pre-Training of Swin Transformers for 3D Medical Image Analysis Vision Transformers（ViT）は、ダウンストリームアプリケーションに転送できるグローバルおよびローカル表現の自己監視学習で優れたパフォーマンスを示しています。これらの結果に触発されて、医療画像分析のために調整されたプロキシタスクを備えた新しい自己監視学習フレームワークを紹介します。具体的には、次のことを提案します。（i）Swin UNEt TRansformers（Swin UNETR）と呼ばれる新しい3Dトランスベースのモデルで、自己監視型の事前トレーニング用の階層型エンコーダーを備えています。 （ii）人体解剖学の根底にあるパターンを学習するための調整されたプロキシタスク。さまざまな体の臓器からの5,050の公

Domain Adaptation of Networks for Camera Pose Estimation: Learning Camera Pose Estimation Without Pose Labels ディープラーニングに対する主な批判の1つは、高性能で優れた一般化機能を備えたモデルをトレーニングするには、高価で取得が困難なトレーニングデータが大量に必要になることです。シーン座標回帰（SCR）による単眼カメラポーズ推定のタスクに焦点を当て、ターゲットタスクのラベルにアクセスせずにモデルのトレーニングを可能にする新しい方法であるカメラポーズ推定（DANCE）のためのネットワークのドメイン適応について説明します。 。 DANCEには、ラベルのない画像（既知のポーズ、順序、またはシーン座標ラベルなし）と空間の3D表現（スキャンされた点群など）が必要です。どちらも、既製のコモディ

過去10年間で、eラーニングは、いつでもどこでも質の高い教育へのアクセスを提供することで、学生の学習方法に革命をもたらしました。しかし、生徒はさまざまな理由で気が散ることが多く、学習能力に大きな影響を与えます。多くの研究者がオンライン教育の質を向上させようとしていますが、この問題に対処するには全体的なアプローチが必要です。この論文は、カメラフィードとマイク入力を使用して、オンラインクラス中の学生のリアルタイムの注意レベルを監視するメカニズムを提供することを目的としています。この調査では、さまざまな画像処理技術と機械学習アルゴリズムについて説明します。 5つの異なる非言語機能を使用して、コンピューターベースのタスク中に学生の注意スコアを計算し、学生と組織の両方にリアルタイムのフィードバックを生成するシステムを提案します。生成されたフィードバックをヒューリスティックな値として使用して、学生の全

Text as Neural Operator: Image Manipulation by Text Instruction 近年、テキストガイドによる画像操作は、マルチメディアおよびコンピュータビジョンのコミュニティでますます注目を集めています。条件付き画像生成への入力は、画像のみからマルチモダリティに進化しました。このホワイトペーパーでは、複雑なテキスト命令を使用してオブジェクトを追加、削除、または変更することで、ユーザーが複数のオブジェクトを含む画像を編集できるようにする設定について説明します。タスクの入力は、（1）参照画像、および（2）画像への必要な変更を説明する自然言語での命令を含むマルチモーダルです。この問題に取り組むために、GANベースの方法を提案します。重要なアイデアは、テキストをニューラルオペレーターとして扱い、画像の特徴をローカルに変更することです。提案されたモデルが

Buildings Classification using Very High Resolution Satellite Imagery 衛星画像を使用した建物の分類は、被害評価、リソース割り当て、人口推定などのいくつかのアプリケーションでより重要になっています。この作業では、住宅および非住宅の建物の建物損傷評価（BDA）および建物タイプ分類（BTC）に焦点を当てます。 RGB衛星画像のみに依存し、2段階の深層学習ベースのアプローチに従うことを提案します。最初に、建物のフットプリントがセマンティックセグメンテーションモデルを使用して抽出され、次にトリミングされた画像が分類されます。住宅/非住宅の建物分類に適切なデータセットがないため、高解像度の衛星画像の新しいデータセットを導入します。最適なハイパーパラメータ、モデルアーキテクチャ、トレーニングパラダイムを選択するために広範な実験を実施し

TransMVSNet: Global Context-aware Multi-view Stereo Network with Transformers このホワイトペーパーでは、マルチビューステレオ（MVS）での機能マッチングの調査に基づいて、TransMVSNetを紹介します。 MVSを機能マッチングタスクの性質に戻し、強力な機能マッチングトランスフォーマー（FMT）を提案して、画像内および画像全体の長距離コンテキスト情報を集約するために、内部（自己）および相互（相互）の注意を活用します。 。 FMTのより良い適応を促進するために、Adaptive Receptive Field（ARF）モジュールを活用して、機能のスコープ内をスムーズに通過し、さまざまなステージを機能パスウェイでブリッジして、変換された機能と勾配をさまざまなスケールに渡します。さらに、ペアワイズ特徴相関を適用して特

Multi-instance Point Cloud Registration by Efficient Correspondence Clustering ターゲットポイントクラウド内のソースポイントクラウドの複数のインスタンスのポーズを推定する問題に対処します。既存のソリューションでは、可能性のあるインスタンスを検出して外れ値を拒否するために多くの仮説をサンプリングする必要があります。外れ値の堅牢性と効率は、インスタンスと外れ値の数が増えると特に低下します。ノイズのある対応のセットを、距離不変性行列に基づいて異なるクラスターに直接グループ化することを提案します。インスタンスと外れ値は、クラスタリングによって自動的に識別されます。私たちの方法は堅牢で高速です。合成データセットと実世界のデータセットの両方でメソッドを評価しました。結果は、私たちのアプローチが70％の外れ値の存在下で90.4

Learning Fair Classifiers with Partially Annotated Group Labels 最近、公平性を意識した学習がますます重要になっていますが、これらの方法のほとんどは、完全に注釈が付けられたグループラベルの可用性を前提として機能することに注意してください。グループラベルの注釈は高価であり、プライバシーの問題と競合する可能性があるため、このような仮定は実際のアプリケーションでは非現実的であることを強調します。このホワイトペーパーでは、部分的に注釈が付けられたグループラベル（Fair-PG）を使用したAlgorithmicFairnessと呼ばれるより実用的なシナリオを検討します。グループラベルのみのデータを使用する既存の公平性手法は、Fair-PGの下で、ターゲットラベルのみの完全なデータのみを使用するバニラトレーニングよりもパフォーマンスがさらに

Recurrent Vision Transformer for Solving Visual Reasoning Problems 畳み込みニューラルネットワーク（CNN）は、多くの視覚タスクで注目に値する結果を示しましたが、単純でありながら困難な視覚的推論の問題によって依然として緊張しています。コンピュータビジョンにおけるTransformerネットワークの最近の成功に触発されて、このペーパーでは、Recurrent Vision Transformer（RViT）モデルを紹介します。推論タスクにおける反復接続と空間的注意の影響のおかげで、このネットワークは、SVRTデータセットと同じ異なる視覚的推論の問題に対して競争力のある結果を達成します。空間次元と深さ次元の両方での重み共有により、モデルが正規化され、28kのトレーニングサンプルのみを使用して、はるかに少ない自由パラメーターを使用

4Kまたは6Kの超高解像度画像をセグメント化するには、画像セグメンテーションで追加の計算を考慮する必要があります。ダウンサンプリング、パッチクロッピング、カスケードモデルなどの一般的な戦略では、精度と計算コストのバランスの問題にうまく対処できません。人間がオブジェクトを粗いレベルから正確なレベルまで連続的に区別するという事実に動機付けられて、超高解像度セグメンテーションリファインメントタスク用のContinuous Refinement Model〜（CRM）を提案します。 CRMは、フィーチャマップをリファインメントターゲットに継続的に位置合わせし、フィーチャを集約してこれらの画像の詳細を再構築します。さらに、当社のCRMは、低解像度のトレーニング画像と超高解像度のテスト画像の間の解像度のギャップを埋める重要な一般化機能を示しています。定量的なパフォーマンス評価と視覚化を提示して、提案さ

まれな交通標識を認識するための反復能動学習アルゴリズムについて説明します。標準のResNetは、まれなクラスの1つのサンプルのみを含むトレーニングセットでトレーニングされます。ラベルのない大きなセットのサンプルを、レアクラスに属する推定確率で並べ替えることにより、レアクラスからのサンプルを効率的に識別できることを示します。これは、この推定確率が通常は非常に低いという事実にもかかわらず機能します。信頼できる能動学習ループは、トレーニングセットに含まれるこれらの候補サンプルにラベルを付け、手順を繰り返すことによって得られます。さらに、単一の合成サンプルから開始して同様の結果が得られることを示します。自動運転システムの交通標識認識を改善する簡単な方法を示しているため、私たちの結果は重要です。さらに、信頼性の低い出力に隠されている情報を利用できることを示していますが、通常は無視されます。 We d

Lightweight Deep Learning Architecture for MPI Correction and Transient Reconstruction 間接飛行時間型カメラ（iToF）は、インタラクティブなフレームレートで深度画像を提供する低コストのデバイスです。ただし、これらはさまざまなエラーソースの影響を受けており、このテクノロジの重要な課題であるマルチパス干渉（MPI）にスポットライトが当てられています。一般的なデータ駆動型アプローチは、シーン内の光の基本的な一時的な伝播を無視して、出力深度値の直接推定に焦点を合わせる傾向があります。代わりに、この作業では、MPIの削除と一時的な情報自体の再構築のために、一時的な情報の直接グローバルな細分化を活用する、非常にコンパクトなアーキテクチャを提案します。提案されたモデルは、合成データと実際のデータの両方で最先端のMPI

教師あり学習ベースの方法は、堅牢なノイズ除去の結果をもたらしますが、大規模なクリーン/ノイズのペアデータセットの必要性によって本質的に制限されます。一方、教師なしデノイザーを使用するには、基礎となる画像統計をより詳細に理解する必要があります。特に、クリーンな画像とノイズの多い画像の明らかな違いが高周波帯域で最も顕著であることがよく知られており、従来の画像前処理ステップの一部としてローパスフィルターを使用することが正当化されます。ただし、ほとんどの学習ベースのノイズ除去方法は、周波数領域の情報を考慮せずに、空間領域からの片側の情報のみを利用します。この制限に対処するために、この研究では、周波数に敏感な教師なしノイズ除去法を提案します。この目的のために、生成的敵対的ネットワーク（GAN）が基本構造として使用されます。続いて、周波数知識をジェネレータに転送するために、スペクトル弁別器と周波数再構

Anomaly-Aware Semantic Segmentation by Leveraging Synthetic-Unknown Data 異常認識は、自動運転などのセーフティクリティカルなアプリケーションにとって不可欠な機能です。ロボット工学とコンピュータービジョンの最近の進歩により、画像分類の異常検出が可能になりましたが、セマンティックセグメンテーションの異常検出についてはあまり検討されていません。モデルをトレーニングするために他の既存のクラスを分布外（疑似不明）クラスとして想定する従来の異常認識システムには、2つの欠点があります。 （1）アプリケーションが対処する必要のある未知のクラスは、トレーニング時間中に実際には存在しない可能性があります。 （2）モデルのパフォーマンスは、クラスの選択に強く依存します。これを観察して、異常を意識したセマンティックセグメンテーションタスクに取

ROBIN : A Benchmark for Robustness to Individual Nuisancesin Real-World Out-of-Distribution Shifts 実際のシナリオで堅牢性を強化することは、非常に困難であることが証明されています。 1つの理由は、既存のロバストネスベンチマークは、合成データに依存するか、データセット間の一般化としてロバスト性を測定するだけであり、したがって個々の迷惑要因の影響を無視するため、制限されているためです。この作業では、実世界の画像の個々の妨害に対する視覚アルゴリズムの堅牢性を診断するためのベンチマークデータセットであるROBINを紹介します。 ROBINは、PASCAL VOC 2012およびImageNetデータセットの10の厳密なカテゴリに基づいて構築されており、オブジェクトの3Dポーズ、形状、テクスチャ、コンテ

Improving Deep Learning Interpretability by Saliency Guided Training 顕著性手法は、モデル予測における重要な入力機能を強調するために広く使用されています。ほとんどの既存の方法は、修正された勾配関数でバックプロパゲーションを使用して顕著性マップを生成します。したがって、ノイズの多い勾配は、不忠実な機能の帰属をもたらす可能性があります。この論文では、この問題に取り組み、モデルの予測性能を維持しながら、予測で使用されるノイズの多い勾配を減らすためのニューラルネットワークの顕著性ガイド付きトレーニング手順を紹介します。私たちの顕著性ガイド付きトレーニング手順は、マスクされた入力とマスクされていない入力の両方のモデル出力の類似性を最大化しながら、小さくて潜在的にノイズの多い勾配で特徴を繰り返しマスクします。顕著性ガイド付きトレーニン

Sparse DETR: Efficient End-to-End Object Detection with Learnable Sparsity DETRは、トランスエンコーダ-デコーダアーキテクチャを使用した最初のエンドツーエンドオブジェクト検出器であり、高解像度の特徴マップで競争力のあるパフォーマンスを示しますが、計算効率は低くなります。その後の作業であるDeformableDETRは、密な注意を変形可能な注意に置き換えることでDETRの効率を高め、10倍高速な収束とパフォーマンスの向上を実現します。変形可能なDETRは、マルチスケール機能を使用してパフォーマンスを向上させますが、エンコーダトークンの数はDETRと比較して20倍に増加し、エンコーダの注意の計算コストがボトルネックのままです。予備実験では、エンコーダトークンの一部のみを更新しても検出性能が低下することはほとんどありま

オニヒトデ（COTS）の発生は、グレートバリアリーフ（GBR）でのサンゴの喪失の主な原因であり、COTSの個体数を生態学的に持続可能なレベルに管理するために、実質的な監視および管理プログラムが進行中です。 GBRのCOTS発生地域から大規模な注釈付き水中画像データセットをリリースし、リーフスケールでのCOTS個体群の検出、監視、管理を改善するための機械学習とAI駆動技術の研究を奨励しています。データセットはリリースされ、これらの水中画像からのCOTS検出のタスクで国際的な機械学習コミュニティに挑戦するKaggleコンペティションでホストされます。 Crown-of-Thorn Starfish (COTS) outbreaks are a major cause of coral loss on the Great Barrier Reef (GBR) and substantial su

A General Framework for Defending Against Backdoor Attacks via Influence Graph この作業では、攻撃トリガーは通常特定のタイプの攻撃パターンに従うため、中毒のトレーニング例はトレーニング中に相互に大きな影響を与えるという事実に触発されて、バックドア攻撃から防御するための新しい一般的なフレームワークを提案します。個々のトレーニングポイントと関連するペアワイズ影響をそれぞれ表すノードとエッジで構成される影響グラフの概念を紹介します。トレーニングポイントのペア間の影響は、影響関数koh2017understandingで近似された、あるトレーニングポイントの削除が別のトレーニングポイントの予測に与える影響を表します。悪意のあるトレーニングポイントは、特定のサイズの対象となる最大平均サブグラフを見つけることによって抽出され

ニューラルラディアンスフィールド（NeRF）は、その優れた合成品質により、最近3Dシーンの再構築と新しいビューの合成で大きな注目を集めています。ただし、野生のシーンをキャプチャするときによく発生する焦点ぼけや動きによって引き起こされる画像のぼやけは、その再構成の品質を大幅に低下させます。この問題に対処するために、ぼやけた入力からシャープなNeRFを復元できる最初の方法であるDeblur-NeRFを提案します。ぼかしプロセスをシミュレートすることでぼやけたビューを再構築する合成による分析アプローチを採用しているため、NeRFはぼやけた入力に対して堅牢になっています。このシミュレーションのコアは、各空間位置で正規のスパースカーネルを変形することにより、空間的に変化するブラーカーネルをモデル化する新しい変形可能スパースカーネル（DSK）モジュールです。各カーネルポイントの光線の原点は、物理的なぼ

TAL: Two-stream Adaptive Learning for Generalizable Person Re-identification ドメインの一般化可能な個人の再識別は、訓練されたモデルを見えないドメインに適用することを目的としています。以前の作業では、すべてのトレーニングドメインのデータを組み合わせてドメイン不変の機能をキャプチャするか、専門家の混合を採用してドメイン固有の情報を調査します。この作業では、ドメイン固有の機能とドメイン不変の機能の両方が、re-idモデルの一般化能力を向上させるために重要であると主張します。この目的のために、これら2種類の情報を同時にモデル化するために、2ストリームアダプティブラーニング（TAL）と名付けた新しいフレームワークを設計します。具体的には、ドメイン固有のストリームは、バッチ正規化（BN）パラメーターを使用してトレーニングドメ

Omni-supervised Facial Expression Recognition: A Simple Baseline この論文では、全知教師付き学習を活用することで、表情認識（FER）のパフォーマンスを向上させることを目標としています。現在の最先端のFERアプローチは、通常、限られた数のサンプルでモデルをトレーニングすることにより、制御された環境で顔の表情を認識することを目的としています。さまざまなシナリオで学習したモデルの堅牢性を高めるために、ラベルの付いたサンプルを多数のラベルなしのデータと一緒に活用して、全方向教師付き学習を実行することを提案します。特に、最初にMS-Celeb-1Mを顔のプールとして使用します。ここには、約5,822Kのラベルのない顔の画像が含まれています。次に、少数のラベル付きサンプルで学習されたプリミティブモデルを採用して、特徴ベースの類似性比較を行

Learning a model of shape selectivity in V4 cells reveals shape encoding mechanisms in the brain 初期の視覚信号をV4の曲率表現に変換するメカニズムは不明です。 V4で報告された曲率表現へのこの変換に不可欠なコンポーネントであるV1 / V2エンコーディングを明らかにする階層モデルを提案します。次に、単一のガウス分布の前に頻繁に課せられるものを緩和することにより、V4形状の選択性が、マカクのV4応答から階層の最後の層で学習されます。 V4細胞は、受容野の空間的範囲全体からの複数の形状部分を、同様の興奮性および抑制性の寄与で統合することがわかりました。私たちの結果は、V4ニューロンの形状選択性に関する既存のデータの新しい詳細を明らかにしており、さらなる実験により、この領域での処理の理解を深めること