イベントとフレームからの高密度の連続時間オプティカルフロー
高密度の連続時間オプティカルフローを推定する方法を提示します。従来の高密度オプティカルフロー法は、2つの画像間のピクセル変位を計算します。情報が不足しているため、これらのアプローチでは、2つの画像間のブラインドタイムでピクセルの軌跡を復元できません。この作業では、イベントカメラからのイベントを追加で使用することにより、ピクセルごとの連続時間オプティカルフローを計算できることを示します。イベントは、非同期の性質とマイクロ秒の応答時間により、画像空間の動きに関する時間的にきめ細かい情報を提供します。これらの利点を活用して、パラメーター化されたベジェ曲線を介して、連続時間でピクセルの軌跡を密に予測します。これを達成するために、このタスクに強い誘導バイアスを持つニューラルネットワークを構築するための複数のイノベーションを導入します。最初に、イベントデータを使用して時間内に複数の順次相関ボリュームを
何を教えてどのように教えてください：マルチモーダルコンディショニングによるビデオ合成
Show Me What and Tell Me How: Video Synthesis via Multimodal Conditioning 条件付きビデオ合成のほとんどの方法は、条件として単一のモダリティを使用します。これには大きな制限があります。たとえば、画像を条件とするモデルでは、モーション情報を提供する手段がないため、ユーザーが希望する特定のモーション軌跡を生成することは問題があります。逆に、言語情報は、ビデオのコンテンツを正確に定義していなくても、目的の動きを説明できます。この作品は、共同または別々に提供されるテキストと画像から利益を得るマルチモーダルビデオ生成フレームワークを提示します。ビデオの量子化表現の最近の進歩を活用し、複数のモダリティを入力として双方向トランスフォーマーを適用して、個別のビデオ表現を予測します。ビデオの品質と一貫性を向上させるために、自己学習でトレ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
人の軌道予測のための安全性に準拠した敵対的生成ネットワーク
データ効率の高い共同分散型熱慣性オドメトリ
EvolveHypergraph: 軌道予測のためのグループ対応動的リレーショナル推論
モーションマグニチュードに基づく効率的なビデオブレ除去
トランスフォーマーコントローラーを備えたキーフレームを介した多様なダンス合成
協調的不確実性の利点マルチエージェントマルチモーダル軌道予測
マルチモーダル車両軌道予測のための階層的潜在構造
GroupNet：関係推論による軌道予測のためのマルチスケールハイパーグラフニューラルネットワーク
MUSE-VAE：環境を意識した長期軌道予測のためのマルチスケールVAE
ローリングシャッター整流用のディープネットワーク
無限の自然：単一の画像からの自然シーンの永続的なビュー生成
群衆の中の鳥化を見る：知覚された動きからの地面の位置特定
マルチエージェント軌道予測における協調的不確実性
ビデオオートエンコーダ：静的な3D構造と動きの自己監視による解きほぐし
無限の自然：単一の画像からの自然シーンの永続的なビュー生成
高密度の非剛体オプティカルフローの自動生成
モバイルARのインスタントビジュアルオドメトリ初期化
ディープラーニングベースのUAV軌道予測のための合成トレーニングデータの生成