2022年3月1日のブックマーク (2件)

  • 画像に写りこんだ水滴を除去できる「RainGAN」 シンガポールの研究チームが開発

    Innovative Tech: このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 シンガポールのNanyang Technological Universityの研究チームが開発した「RainGAN: Unsupervised Raindrop Removal via Decomposition and Composition」は、画像に写り込んだ水滴を除去する深層学習を用いた技術だ。雨などによってカメラレンズの表面に直接付着した水滴を撮影後の画像から除去する。 雨粒などでカメラのレンズに付着した水滴は、シーンの一部をゆがませたり、覆い隠したりするため、自動運転車や屋外監視カメラなど、コンピュータビジョンアプリケーションの性能を低下させる。そのため、水滴を除去してシーン

    画像に写りこんだ水滴を除去できる「RainGAN」 シンガポールの研究チームが開発
    Seamless
    Seamless 2022/03/01
    自動運転や監視カメラのレンズに雨滴が付いた撮影後の画像から水滴と風景を分解できる。水滴が付いてないペア画像や複数枚画像を必要とせずGANで処理。綺麗な画像に水滴スタイルを追加も可能。
  • マインクラフトの世界をリアルな世界に変換する「GANcraft」 NVIDIAなどが開発

    Innovative Tech: このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 NVIDIAと米Cornell Universityの研究チームが開発した「GANcraft: Unsupervised 3D Neural Rendering of Minecraft Worlds」は、マインクラフトなどのボクセルベースの大規模な世界を写実的な画像に変換する手法だ。土や砂、草木、雪、海、空などをリアルに表現し、見る視点を移動しても一貫した画像を提供する。ゲームやアニメーションの背景、バーチャル空間の作成にも役立つ可能性を秘めている。 マインクラフトは、規則的なグリッド上にブロックを置くだけで3次元空間を構築できる、子どもでも可能な手軽さが魅力だが、各3Dブロックは大きく

    マインクラフトの世界をリアルな世界に変換する「GANcraft」 NVIDIAなどが開発
    Seamless
    Seamless 2022/03/01
    Minecraftの3Dブロック世界を写実的な3Dバーチャル空間に変換する深層学習モデル。自由視点を実現する為にMinecraft内を見る視点とペアとなる疑似的な写実画像を生成しNeRFとCNNで計算し出力する。