ビデオ段落キャプションの一貫性を評価するための談話分析

Discourse Analysis for Evaluating Coherence in Video Paragraph Captions ビデオ段落のキャプションは、ビデオ内のアクションの一貫した段落の説明を自動的に生成するタスクです。以前の言語学的研究は、自然言語テキストの一貫性がその談話構造と関係に反映されていることを示しています。ただし、既存のビデオキャプション方法は、生成された段落の一貫性を、人間の段落の注釈と比較するだけで評価し、基礎となる談話構造について推論することはできません。 UCLAでは、現在、ビデオ段落の一貫性を評価するための新しい談話ベースのフレームワークを模索しています。私たちのアプローチの中心は、ビデオの談話表現です。これは、ビデオの一貫性を条件とする段落の一貫性をモデル化するのに役立ちます。また、3000本のビデオとその段落の提案された視覚的談話注釈を含む

[arxiv_reader]

ビデオ段落のキャプションは、ビデオ内のアクションの一貫した段落の説明を自動的に生成するタスクです。以前の言語学的研究は、自然言語テキストの一貫性がその談話構造と関係に反映されていることを示しています。