マルチモーダルゼロショット手話認識

ゼロショット学習（ZSL）は、近年急速に進歩しています。手話認識（SLR）の注釈のボトルネックを克服するために、テキストによる説明を活用して、注釈付きの視覚的な例のないゼロショット手話認識（ZS-SLR）のアイデアを探ります。このように、スケルトンベースのものと融合した深い特徴の補完的な機能を利用したマルチモーダルゼロショット手話認識（ZS-SLR）モデルを提案します。 TransformerベースのモデルとC3Dモデルは、それぞれ手の検出と深部特徴抽出に使用されます。スケルトンベースの機能と深い機能の次元の間でトレードオフを行うために、Long Short Term Memory（LSTM）ネットワーク上でAuto-Encoder（AE）を使用します。最後に、セマンティックスペースを使用して、視覚的特徴をクラスラベルの言語埋め込みにマッピングします。これは、トランスフォーマーからの双方向

[arxiv_reader]

ゼロショット学習（ZSL）は、近年急速に進歩しています。手話認識（SLR）の注釈のボトルネックを克服するために、テキストによる説明を活用して、注釈付きの視覚的な例のないゼロショット手話認識（ZS-SL