GPT-4Vで“動画”を分析 米Microsoftが「MM-VID」発表

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Microsoft Azure AIに所属する研究者らが発表した論文「MM-Vid: Advancing Video Understanding with GPT-4V（ision）」は、GPT-4で手書きの文字や図を読み取れるようになる技術「GPT-4V（ision）」を利用してビデオの内容を詳細なスクリプトに変換し、大規模言語モデル（LLM）に高度なビデオ理解能力を与えるという研究報告である。 長時間のビデオ、特に1時間以上のものを理解するのは、複数のエピソードにわたる画像や音声のシーケンスを分析する高度な手法が求められる複雑なタスク

[misshiki]

“GPT-4で手書きの文字や図を読み取れるようになる技術「GPT-4V（ision）」を利用してビデオの内容を詳細なスクリプトに変換し、大規模言語モデル（LLM）に高度なビデオ理解能力を与えるという研究報告”

[Seamless]

GPT-4V(ision)を利用し数時間のビデオを理解するモデル。動画に対しての質問やこうしてに答えてくれる。