キャプションを超えた画像からのテキスト生成の進歩について：自己合理化の事例研究

On Advances in Text Generation from Images Beyond Captioning: A Case Study in Self-Rationalization 事前に訓練された言語モデルの成功を受けて、ビジョンと言語の統合が注目を集めています。それにもかかわらず、新しいマルチモーダルモデルの一部は、画像を条件としたテキスト生成に適しています。この少数派は通常、画像のキャプション、つまり画像に明示的に表示されるものを説明することを目的とした画像のみを条件とするテキスト生成タスクのために開発および評価されます。このホワイトペーパーでは、一歩下がって質問します。これらのモデルは、テキストと画像の両方を条件として、より複雑な生成タスクに対してどのように機能するのでしょうか。共同マルチモーダル事前トレーニング、視覚的に適応された事前トレーニングされた言語モデル、

[arxiv_reader]

事前に訓練された言語モデルの成功を受けて、ビジョンと言語の統合が注目を集めています。それにもかかわらず、新しいマルチモーダルモデルの一部は、画像を条件としたテキスト生成に適しています。この少数派は通常