RoME：テキストからビデオへの検索のための役割を意識した専門家の混合トランスフォーマー

RoME: Role-aware Mixture-of-Expert Transformer for Text-to-Video Retrieval ソーシャルチャンネルの人気とともに、たくさんの動画が毎日アップロードされています。したがって、ユーザーのテキストクエリを使用して最も関連性の高いビデオコンテンツを取得することは、より重要な役割を果たします。ほとんどの方法では、各モダリティのローカル構造を考慮せずに、グローバルな視覚的特徴とテキスト的特徴の間の1つの共同埋め込みスペースのみを考慮します。他のいくつかのアプローチでは、グローバル機能とローカル機能で構成される複数の埋め込みスペースを個別に検討し、モダリティ間の豊富な相関関係を無視します。テキストとビデオを3つのレベルに解きほぐす新しい専門家混合トランスフォーマーRoMEを提案します。空間コンテキスト、時間コンテキスト、およびオブジ

[arxiv_reader]

ソーシャルチャンネルの人気とともに、たくさんの動画が毎日アップロードされています。したがって、ユーザーのテキストクエリを使用して最も関連性の高いビデオコンテンツを取得することは、より重要な役割を果たし