文章から“動画”を自動作成するAI、中国の研究チームが開発

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 中国の清華大学の研究チームが開発した「CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers」は、簡単なテキストを入力に、その文章を基にした簡単な動画を自動作成する機械学習モデルだ。 以下の画像のように、例えば「A man is sking.」と入力すると、男性が雪の上をスキーで滑る映像を出力し「A lion is drinking water.」だとライオンが手にコップを持ち水を飲む映像を出力する。ここでの映像サンプルは、4秒間の32フレームで解像度480×480で出力される。 昨今、

[emuaeda]

仏教の浄土教（日本の念仏だけすれば救われる浄土宗とは別）の経典に仏の姿を想像する瞑想があるんだけど、その経典を読ませたらこのAIは悟りを得るんだろうか。

[kagehiens]

はめ込み合成的な映像なのかもしれないけど、やろうとした事じたいがすごいなと思う。

[filinion]

AIは文脈を理解できない、と言われてきたけど、最近では小説は書くし動画も作るし、その溝も段々埋まりつつある。遠からず、漫画を描いたり映画を作ったりするのだろう。

[misshiki]

“「CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers」は、簡単なテキストを入力に、その文章を基にした簡単な動画を自動作成する機械学習モデル”

[kako-jun]

4秒間もあるので、a man walking in front of a column of tanksも生成できそう（できない）

[Seamless]

「A lion is drinking water.」とテキスト入力するとライオンが手にコップを持ち水を飲む映像が自動生成されるなど、4秒間32フレーム解像度480×480で出力される。