1時間超のYouTubeを解釈できるオープンなマルチモーダルAI「LWM」、Windowsをプロンプトで自動操作するMS製AI「UFO」など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第34回目は、生成AI最新論文の概要5つを紹介します。 生成AI論文ピックアップ 1時間以上の長時間動画や100万トークンの長文を処理できるオープンソースモデル「LWM」、UCバークレーが開発 Microsoft、テキスト指示でWindowsを自動操作できるAIエージェントシステム「UFO」を開発 ビデオ内を理解するために、動画内の一部を自ら隠して予測する学習方法「V-JEPA」をMetaが開発 Google、最大100万トークンを処理できる「Gemini 1.5」を発表 LoRAを上回る効率的な新しい微調整方法「DoRA」、モデルの重みを「大きさ」と「方向」に分解し
M2UGen の概要｜npaka
「M2UGen」の概要をまとめました。 1. M2UGen「M2UGen」は、テキスト・画像・動画からの音楽生成・音楽理解・音楽編集が可能です。 「音楽理解」には「MERT」、「画像理解」には「ViT」、「動画理解」には「ViViT」、「音楽生成」には「MusicGen」「AudioLDM2」を利用し、「アダプタ」や「LLaMA2」と組み合わせることで、複数の能力を持つモデルとなっています。 ・ホーム ・コード ・デモ 2. M2UGen のデータセット「MU-LLaMA」「MPT-7B-Chat」を使用して音楽指向のデータセットを、「BLIP画像キャプションモデル」「VideoMAEキャプションモデル」を使用してキャプションを生成します。 2-1. MUCapsデータセット21966曲、1273.78時間のキャプション生成のためのデータセットです。 ・音楽ファイル → MU-LLaMA
動画生成AIがすごすぎる 映画登場も遠くない (1/4)
1枚の画像からAIが動画を生成する、ランウェイ（Runway）社のサービス「Gen-2」が大きな話題になっています。 ランウェイは2018年創業のスタートアップ。もともとStability AIと共同でStable Diffusion用のデータモデルの開発を進めていましたが、現在は完全に独自のサービスを展開しています。画像生成AIはStability AIが先に行ってしまったので、生成AIでの動画作成にフォーカスして、技術開発とサービス展開をしています。今年6月には、Google、NVIDIA、セールスフォースなどから1億4100万ドル（約200億円）の資金調達を受けるなど、生成AI企業のなかでも大きく注目を浴びています。 わずか2分で画像が動画に 今年2月に発表された第1世代の「Gen-1」は、動画をプロンプトに応じて別の動画へと変換する（video to video）サービスでしたが、
映像内の犬を猫に変えられるAI テキストのみで動画編集が可能 Googleなど「Dreamix」開発
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 Google ResearchとイスラエルのThe Hebrew University of Jerusalemに所属する研究者らが発表した論文「Dreamix: Video Diffusion Models are General Video Editors」は、テキストに応じた動画編集ができる拡散モデルを提案した研究報告である。 テキストから画像を生成する拡散モデルと同様に、テキストから動画への変換モデルも近年提案されている。だがテキストに応じて動画編集できる拡散モデルは現状ではほとんどない。 この研究では、入力動画をテキストプロンプトで高度に編集
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
