グリーンバック不要で前景を精密に抜き出す、深層学習を用いたAlpha Matting技術「HAttMatting」 2020-07-04 大連理工大学、 大連大学、鄭州大学、北京工商大学による研究チームが開発した「Attention-Guided Hierarchical Structure Aggregation for Image Matting」は、1枚の画像から被写体である前景を精密に抽出するAlpha Matting技術だ。 本手法の出力結果 Alpha Mattingとは グリーンバック等の特殊な撮影環境を必要とせず、自然状態の画像から前景を抽出し背景と分離するタスクをAlpha Mattingと呼ぶ。画像から前景のAlpha値を抽出する処理をMattingと呼び、 Alpha値を各画素に持つ画像をAlpha Matteと呼ぶ。 Trimapを用いた既存研究 Alpha Mat

手書きスケッチからリアル顔画像を作成、深層学習で「DeepFaceDrawing」 2020-06-04 中国科学院と香港城市大学による研究チームが開発した「DeepFaceDrawing」は、手書きスケッチからリアルな顔画像を生成する深層学習フレームワークだ。 手書きスケッチからリアル顔を生成するDeepFaceDrawing このような深層学習を用いたスケッチ画像からリアル画像への変換では、Image-to-Image Translation with Conditional Adversarial Nets [Isola et al. 2017] などで実証されている。しかしデータ駆動型の性質上、実画像とそれに対応するエッジマップのペアからネットワークを学習することが多いため、リアルな顔画像を合成するためには、実画像のエッジマップに近い品質のテストスケッチが必要となる。それを用意する

筑波大学と豊橋技術科学大学、1枚の静止画像（主に風景）からより写実的なループアニメーション（シネマグラフ）を生成するDeep learningを用いた手法を発表 2019-10-17 筑波大学と豊橋技術科学大学による研究チームは、1枚の静止画像から写実的なループアニメーション（シネマグラフ）を生成するDeep learningを用いた手法「Animating Landscape」を発表しました。 論文：Animating Landscape: Self-Supervised Learning of Decoupled Motion and Appearance for Single-Image Video Synthesis YUKI ENDO, University of Tsukuba & Toyohashi University of Technology YOSHIHIRO KAN

miHoYoなど、衣服アニメーションを半自動で生成するDeep learningを用いたフレームワークを発表。インタラクティブな編集も可能 2019-10-16 miHoYo、リーズ大学、ユニバーシティ・カレッジ・ロンドン、Adobe Researchによる研究チームは、衣服アニメーションを半自動で生成するDeep learningを用いたフレームワークを発表しました。 論文：Learning an Intrinsic Garment Space for Interactive Authoring ofGarment Animation TUANFENG Y. WANG, miHoYo Inc. TIANJIA SHAO, University of Leeds KAI FU, miHoYo Inc. NILOY J. MITRA, University College London an

ソウル大学校など、最大346の筋腱ユニットで人の動きをより忠実に再現するdeep learningを用いた物理シミュレーションを発表 2019-05-01 ソウル大学校と盆唐ソウル大学校病院による研究チームは、人の動きを284~346の筋腱ユニットで動作させるdeep learningを用いた物理シミュレーションを発表しました。 論文：Scalable Muscle-actuated Human Simulation and Control 著者：Seunghwan Lee, Kyoungmin Lee,  Moonseok Park, Jehee Lee 所属：Seoul National University, Seoul National University Bundang Hosiptial 人間の動きは、骨の形状や筋肉の状態など、多くの解剖学的要因が相互作用して影響を与えます。

Google、シーン内の人とカメラの両方が移動していても1台の単眼カメラから深度を予測するdeep learningを用いた手法を発表 2019-05-26 Googleによる研究チームは、単眼カメラと人物の両方が動いているシーンにおいて深さを推定するdeep learningを用いた手法を発表しました。 論文：Learning the Depths of Moving People by Watching Frozen People 著者：Zhengqi Li Tali Dekel Forrester Cole Richard TuckerNoah Snavely Ce Liu William T. Freeman 所属：Google Research 本論文は、1台のカメラにおいてシーン内の人物とカメラの両方が自由に動いている場合でも正確な高密度深度を予測するdeep learning

北京電影学院など、人の動きを別動画内人物へリターゲティングするdeep learningを用いた手法を発表。カメラアングルも変更可能。3D変換なしに2Dで処理 2019-05-07 北京電影学院やテルアヴィヴ大学、北京大学、ヘブライ大学による研究チームは、動画内の人の動きを別の動画内人物へ再構築する2Dモーションリターゲティング・フレームワークを発表しました。 論文：Learning Character-Agnostic Motion for Motion Retargeting in 2D 著者：Kfir Aberman, Rundi Wu, Dani Lischinski, Baoquan, Daniel Cohen-Or 所属：Beijing Film Academy, Tel-Aviv University, Peking University, Hebrew University

GoogleとOpenAI、画像分類ニューラルネットワークの意思決定プロセスを可視化する手法をオープンソースで発表。すぐに試せるデモあり 2019-03-17 GoogleとOpenAIによる研究チームは、画像が提供されたときに、ニューラルネットワークがどのように画像分類するかを可視化するアプローチ「Activation Atlases」を発表しました。 論文：Exploring Neural Networks with Activation Atlases 著者：Shan Carter, Zan Armstrong, Ludwig Schubert,Ian Johnson, Chris Olah 所属：Google Brain Team, Google Accelerated Science, OpenAI, Google Cloud 本論文は、画像分類ニューラルネットワークの意思決定プ

スタンフォード大学など、単眼カメラから人の動きと物体との相互作用における因果関係を学習する機械学習モデルを発表。行動予測に活用など 2019-02-21 スタンフォード大学やUberATGなどによる研究チームは、単眼カメラから人の動きと物体との相互作用における因果関係を学習する機械学習モデルを発表しました。 論文：Learning a Generative Model for Multi-Step Human-Object Interactions from Videos 著者：He Wang, Sören Pirk, Ersin Yumer, Vladimir G. Kim,  Ozan Sener, Srinath Sridhar, Leonidas J. Guibas 所属：Stanford University, Uber ATG, Adobe Research, Intel La

ワシントン大学ら、既存の3D形状を写実的なモデルへ自動的に変えるdeep learningを用いた手法を発表 2018-10-10 ワシントン大学とアレン人工知能研究所の研究者らは、既存の3D形状に対して、各部分にSV-BRDFによるマテリアルを自動的に割り当てるdeep learningを用いたテクスチャリング・システム「PhotoShape」を発表しました。 論文：PhotoShape: Photorealistic Materials for Large-Scale Shape Collections 著者：Keunhong Park, Konstantinos Rematas, Ali Farhadi, Steve Seitz 既存の3D形状リポジトリは、大量の3Dモデルが保管されていますが、写実的なモデルは少ないのが現状です。そこで、本論文は、そういった3D形状に対して、自動的に

南カリフォルニア大学ら、1枚の画像から3Dヘアを再構築するdeep learningを用いたモデリング法を発表 2018-10-05 南カリフォルニア大学、Pinscreen、Snapchat、USCクリエイティブ・テクノロジー研究所の研究者らは、1枚の画像から3Dヘアを再構築するdeep learningを用いた手法を発表しました。 論文：3D Hair Synthesis Using Volumetric Variational Autoencoders 著者：著者：Shunsuke Saito, Liwen Hu, Chongyang Ma, Hikaru Ibayashi, Linjie Luo, Hao Li 本論文は、単一視点画像から3次元ヘアモデルを直接生成するdeep learningフレームワークを用いた手法を提案します。本提案手法のVariational Auto-En

MPI for Intelligent Systemsら、6つのIMUを装着し、リアルタイムに全身の3D姿勢推定を行うdeep learningを用いた手法を発表 2018-09-19 MPI for Intelligent Systems、Advanced Interactive Technologies, ETH Zürich、MPI-Infの研究者らは、6つの慣性計測装置（IMU）のみを全身に装着し、リアルタイムの3D姿勢推定を実行するdeep learningを用いたアプローチ「DIP（Deep Inertial Poser）」を発表しました。 論文：Deep Inertial Poser: Learning to Reconstruct Human Pose from Sparse Inertial Measurements in Real Time 著者：YINGHAO HUA

Leap Motion、ARプラットフォーム「Project North Star」オープンソース公開。視野角100°、120fps駆動のシースルー型ARデバイス 2018-06-07 Leap Motionは、2018年4月に発表したARプラットフォーム「Project North Star」のオープンソースを発表しました。Webサイトからダウンロード、GitHub公開です。 Webサイト：Project North Star — Leap Motion Developer GitHub：leapmotion/ProjectNorthStar: The open-source files comprising Leap Motion’s Project North Star AR Headset. Project North Starは、ハーフミラーと液晶パネル等を使用してシースルー型の

MITら、ロボットに家事などの日常的なタスクを学習させる3Dシミュレータ「VirtualHome」発表 2018-06-02 MIT（マサチューセッツ工科大学）、トロント大学、マギル大学、リュブリャナ大学の研究者らは、ロボットに家事などの日常的なタスク含め多様なタスクを学習させるための訓練用3Dシミュレータ「VirtualHome」を発表しました。 論文：VirtualHome: Simulating Household Activities via Programs 著者：Xavier Puig, Kevin Ra, Marko Boben, Jiaman Li, Tingwu Wang,Sanja Fidler, Antonio Torralba 本稿は、エージェントに特定のタスクに到達するための必要な一連のアクションを学習させるシステムを提案します。 ロボットは、人間と違って1を言え

AWS、WebブラウザでVR/ARコンテンツを開発・公開できるプラットフォーム「Amazon Sumerian」一般公開 2018-05-16 Amazon Web Servicesは、特別なプログラミングや3Dグラフィックスの専門知識を必要とせずに、VR/AR/3Dコンテンツを開発するためのツールキットとプラットフォーム「Amazon Sumerian」を一般公開しました。 Amazon Sumerianは、2017年11月「Re:Invent」にて発表され、数ヶ月間のプライベートベータ版で運営されていましたが、今日、誰でも使用できるようになりました。 本ツールを使用すると、ビジュアルエディタやJavaScriptエディタを使用しオブジェクトを編集、公開することができ、また、Webブラウザベースで実行できるため、ネット環境があれば素早く作成することが可能です。作成したコンテンツは、クラウ

RED、VR180°カメラのLucidと共同開発する8K 3D/4Vデュアルカメラを発表。REDスマートフォン「Hydrogen One」から4-View変換可能 2018-05-23 ハイエンドのカメラを開発する「Red Digital Cinema Camera Company」は、VR180°カメラを開発するスタートアップ「Lucid」と提携し、8K3D/4Vデュアルカメラを開発していることを発表しました。 REDの未発表Androidスマートフォン「Hydrogen One」を披露するためのイベントが現地時間19日に開催されましたが、その際、提携している企業ブースの1つにVR180 LucidCamを開発したことで知られるLucidが出展していました。 展示していたのは、3Dコンテンツをキャプチャできる8K3Dカメラです。 本3Dカメラは、ビームスプリッタを用いたデュアルカメラ（2

Google、1,540万の手動ラベル付けバウンディングボックス含む190万画像600カテゴリのデータセット「Open Images V4」発表 2018-05-01 Googleは、1,540万のバウンディングボックス含む190万画像600カテゴリのデータセット「Open Images V4」を発表しました。 Open Images Dataset V4 同社は、2016年に約900万画像6,000カテゴリほどのデータセット「Open Images」を発表しましたが、今回はオブジェクト位置のラベルが含んだデータセットです。ボックスのラベル付けは手動です。画像ごとに平均8.4枚 上記に加えて、約3,000万画像19,000カテゴリほどのデータセットも含まれています。

Intel、次世代深度センサRealSense「D415」と「D435」を発表。屋内外に対応、最大解像度1280×720、最大深度約10m 2018-01-19 Intelは、新しい深度センサIntel RealSense D400製品ファミリの「D415」と「D435」を発表しました。 いずれもUSB給電で駆動され、Intel RealSense ビジョン・プロセッサD4を搭載します。解像度が最大1280×720、最大深度は約10m、出力フレームレート最大90 fps、屋外と屋内に対応しており、あらゆる照明環境で使用できるとしています。 また、クロスプラットフォームでオープンソースなIntel RealSense SDK 2.0をサポート。 スタンダードモデルとして「D415」、深度視野が広く（水平x垂直x斜め：91.2°x65.5°x100.6°）、グローバルシャッターが整備されたりな