グーグル、超リアルな動画生成AI「Lumiere」を発表--画像の一部を動画化する機能など

Google Researchは米国時間1月23日、テキストプロンプトや画像から非常にリアルな動画を生成する時空拡散（Space-Time Diffusion）モデル「Lumiere」についての論文を発表した。 論文によると、このモデルは、動画生成合成における重要な課題、つまり「多様性と一貫性のあるリアルな動き」を生み出すという課題に取り組むために設計されたという。通常、動画生成モデルでは、ぎくしゃくした動画が生成されるが、以下の動画を見ると分かるように、Googleのアプローチはよりシームレスな視聴体験を提供する。 動画は滑らかに再生されるだけでなく、非常にリアルに見え、ほかのモデルよりも大幅に進化している。Lumiereは、シングルパスを通して動画全体を一度に生成する「Space-Time U-Net」アーキテクチャーでそれを実現している。 この動画生成方法は、キーフレーム間を合成する

[quwachy]

とうとう動画から学習するようになったと言うのがキモ

[tattyu]

こいつらいつも発表してるな。