2022年2月14日のブックマーク (3件)

  • YouTubeなど動画内の人を3Dモデルで抜き取る技術 米ワシントン大とGoogle Researchが「HumanNeRF」開発【研究紹介】

    昨今、NeRF(Neural Radiance Field)に代表される、深層学習を用いて2次元画像から自由視点の3次元画像を生成する技術が注目されている。画像からそこに写る物体を抜き出し、その物体を360度どの方向から見ても正確に表現できる技術だ。 しかしこれら手法は、異なる視点から撮影された対象物の静止画像を複数枚用意し入力に使用しなければならない。そのため、1方向からのみで物体を自由視点で高品質に抜き出すのは非常に難しい。また今回は人間を対象とするため、 衣服のひだや髪の毛、体のポーズ、顔の表情などの細かいディテールを合成時に考慮しなければならない。 HumanNeRFと呼ばれる今回の手法は、単眼カメラで撮影した1視点の映像を入力に、任意のフレームで一時停止したシーンに映る人物を自由視点の3Dモデルとして抜き出す。止まっている置物などの物体ではなく、ダンサーなどのダイナミックに動作す

    Seamless
    Seamless 2022/02/14
    動画の各フレームに映る人物全身の異なる角度(横,後ろ等)からの画像で360度表現のTポーズを一旦作り,一時停止したい姿勢とTポーズを一致するよう画素を再配置。深層学習で。
  • 「他人とどれくらい関わりを持ったか」計測するデバイス、はこだて未来大が開発

    Innovative Tech: このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 公立はこだて未来大学角康之研究室の研究チームが発表した「社会活動量と身体活動量の関係に着目したライフログの可視化」は、ウェアラブルデバイスで計測した運動量だけでなく、その際に人とどれくらい関わったかの社会的活動量を同時に計測し、両者の数値から行動を分類し考察した論文だ。 ここでいう社会的活動量とは、実空間における対面状況において他人と何らかの関わり合いを持った数値を指す。対面での会話や一緒に事、ミーティングなどが該当する。 研究では、この社会的活動量と身体的活動量の両方を計測し、各行動の特定と質の評価を行う。身体活動量は、Fitbitを使用し運動時の心拍数から推定できる消費カロリー量を使

    「他人とどれくらい関わりを持ったか」計測するデバイス、はこだて未来大が開発
    Seamless
    Seamless 2022/02/14
    運動量だけでなく他人と接したかを胸元の前方カメラで撮影した顔の数で計測。ただすれ違うや大勢の場でも関わっていない等はカウントせず、正面に来た顔の接近性や連続性,継続時間を計算に入れ判別。
  • ジャケットなど、ゆるい服の全身の動きを追跡 電子楽器「テルミン」をセンサーに利用

    Innovative Tech: このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 ドイツのDFKIとドイツのTU Kaiserslauternによる研究チームが開発した「MoCapaci: Posture and gesture detection in loose garments using textile cables as capacitive antennas」は、ゆったりとした衣服で全身の動きを検出するシステムだ。テルミン技術と導電性テキスタイルアンテナを使い、男性用ジャケットに組み込まれたプロトタイプでモーションキャプチャーを行う。 これまでの全身の動きを追跡するモーションキャプチャーシステムのほとんどは、ブレスレットやストラップなどの専用アクセサリーを通

    ジャケットなど、ゆるい服の全身の動きを追跡 電子楽器「テルミン」をセンサーに利用
    Seamless
    Seamless 2022/02/14
    タイトではないゆったりした衣服のポケットに入れたテルミンで着用者の全身の動きを追跡。衣服には導電性テキスタイルを配備。上半身の姿勢とジェスチャーを深層学習で分類。精度平均95%。