ソーシャルメディアにおける感情表現のための画像とテキストの相補性について

On the Complementarity of Images and Text for the Expression of Emotions in Social Media ソーシャルメディアの投稿の作成者は、自分の感情とその原因をテキストや画像で伝えます。各モダリティの感情と刺激の検出に関する作業は個別に行われていますが、モダリティにソーシャルメディアの補完的な感情情報が含まれているかどうかはまだ不明です。私たちはこの研究のギャップを埋めることを目指しており、英語のマルチモーダルReddit投稿の新しい注釈付きコーパスに貢献しています。このリソースでは、画像とテキストの関係、感情刺激カテゴリ、および感情クラスを自動的に検出するモデルを開発します。これらのタスクが両方のモダリティを必要とするかどうかを評価し、画像とテキストの関係を見つけます。ほとんどのカテゴリ（補完的、例示的、反対）に

[arxiv_reader]

ソーシャルメディアの投稿の作成者は、自分の感情とその原因をテキストや画像で伝えます。各モダリティの感情と刺激の検出に関する作業は個別に行われていますが、モダリティにソーシャルメディアの補完的な感情情報