マインクラフトの世界をリアルな世界に変換する「GANcraft」 NVIDIAなどが開発
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 NVIDIAと米Cornell Universityの研究チームが開発した「GANcraft: Unsupervised 3D Neural Rendering of Minecraft Worlds」は、マインクラフトなどのボクセルベースの大規模な世界を写実的な画像に変換する手法だ。土や砂、草木、雪、海、空などをリアルに表現し、見る視点を移動しても一貫した画像を提供する。ゲームやアニメーションの背景、バーチャル空間の作成にも役立つ可能性を秘めている。 マインクラフトは、規則的なグリッド上にブロックを置くだけで3次元空間を構築できる、子どもでも可能な手軽さが魅力だが、各3Dブロックは大きく
手描きキャラクターに深層学習で影 カラーでも
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米メリーランド大学ボルチモアカウンティ校とProject HATによる研究チームが開発した「Learning to Shadow Hand-drawn Sketches」は、キャラクターに影を自動的に追加できる、深層学習を用いた手法だ。 影付きスケッチを直接生成するのではなく、スケッチとは別に影画像だけを生成しているのが特徴。このため、スケッチと影を別々のレイヤーにし、それぞれを別個に編集できる。生成した影はそのまま使用でき、より高い品質を望む場合にはユーザーがさらに修正できる。 提案モデルは、 GAN（Generative Adversarial Network）をベースに、2次元スケッ
写真や動画を「新海誠みたいに」「宮崎駿っぽく」変換できる「AnimeGAN」 武漢大学などが開発
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 武漢大学と湖北工業大学からなる中国の研究チームが開発した「AnimeGAN: A Novel Lightweight GAN for Photo Animation」は、現実世界で撮影した写真をアニメ風の画像に高速変換する技術だ。深層学習を用いた軽量なフレームワークで、宮崎駿監督や新海誠監督の作品のようなアニメ風の高品質画像に仕上げることができる。 高品質なアニメ作品を制作するためには、線や質感、色、影などを入念に考慮する必要があり、制作に手間と時間がかかる。現実世界の写真を自動的に高品質なアニメ画像に変換できる技術があれば、効率化の観点から重要視されるだろう。 今回の手法では、実写からア
顔画像生成のためのデータセットを作る - すぎゃーんメモ
動機 TensorFlowの登場をきっかけに 機械学習によるアイドル顔識別 という取り組みをしていて、3年以上かけてコツコツとアイドルの自撮りを収集してラベルをつけてデータセットを作ってきたけど、 アイドルヲタクはもう辞めてしまって 現場にも全然行かなくなり、卒業・脱退の情報を追いながらラベルを更新していく作業を続ける情熱はすっかり薄れてしまった。 もうアイドル顔識別プロジェクトは終了にしよう、と思った。 しかし折角今まで集めたデータを捨ててしまうのは勿体無い。せめて最後に何か活用できないものか。 と考えて、「画像生成」に再び取り組んでみることにした。 過去に試したことはあったけど、それほど上手くはいっていない。 TensorFlowによるDCGANでアイドルの顔画像生成 TensorFlowによるDCGANでアイドルの顔画像生成 その後の実験など この記事を書いたのが2016年。 この後
StyleGANを遊び尽くせ!! ~追加学習不要の画像編集~ - Qiita
はじめに AdventCalender論文24日目担当のぱしふぃんです。 突然ですが,最近このような論文1が出ました。 テスト https://t.co/QoXamqHB9w — ぱしふぃん (@pacifinapacific) December 21, 2019 なんとただの１枚絵をVtuberのモデルにできちゃうのです。ニコニコに上がっている解説動画では賞賛のコメントが多数寄せられていました。 これはすごい！ということで私も読んだのですが、データセットを作る段階ですごい労力を費やしているようでした。３ｄモデル1つ1つを目を閉じたり、開けたり、顔を傾けたりと差分をとり、ラベル付けしていくのはとても大変です。 「そんなラベル付けの手間を失くして似たようなことがやりたい！！」 その一つの可能性として今回StyleGANに着目してみます。StyleGANは滅茶苦茶綺麗な画像を生成できるモデルで
NVIDIA、1枚の静止画で動きを合成 GANを用いた手法を開発 ダビデ像も踊り出す
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 NVIDIAが10月に発表した新技術は、映像内の動きを抽出して画像に転送することで、リアルな合成動画を生成する敵対的生成ネットワーク（Generative adversarial networks、GAN）を用いた手法だ。 人の全身運動や顔の輪郭運動など、領域分割マスクや線画スケッチを基に、動かしたい画像に合成し写実的な映像に仕上げる。 ベースとなる以前の研究「Video-to-video synthesis」（vid2vid）では、学習したドメインでしか合成できなかったが、今回の研究では訓練データセットに含まれてなくても合成が可能になり、より幅広い合成動画が作成できる。
深層生成モデルを巡る旅(3): GAN - Qiita
はじめに 「深層生成モデルを巡る旅」シリーズ第3回はみなさんお待ちかねの（？）GANのまとめです. GANは綺麗な画像を生成することに長けており, その人気はFlowやVAEと比べても圧倒的です. その一方で, 世にはGANの研究があふれていて, 画像生成に限っても把握するのが困難な状態になっています. 本記事では, 元祖から最新の研究に至る歴史の中で重要と思われるものをジャンル別に紹介したいと思います. 今回も画像生成のみを扱います. GANの基本 GANそのものについての解説は日本語のものに限っても既に多数あるので, ここでは簡単に触れることとし, 後に続く各手法の紹介に集中したいと思います. ご存じの方は飛ばしてください. 全体像 A Beginner's Guide to Generative Adversarial Networks (GANs) | Skymind GANは生成
GANによる超解像がもたらす新しい方向性と「The Perception-Distortion Tradeoff」の話 - Think more, try less
CVPR2018にて超解像分野において極めて重要そうだなと感じた論文がありました。Yochai Blauらによる下記の論文です。 [1711.06077] The Perception-Distortion Tradeoff この内容を踏まえて最近の超解像研究の流れをまとめたいと思います。 超解像とは？ 超解像について振り返ります。多くの方がwaifu2xというソフトウェアで一度は目にしたことがあるかもしれません。下記イメージのように低解像の画像を高解像の画像に変換する方法を 超解像（Super Resolution）と呼ばれます。 （参照元：二次元画像を拡大したいと思ったことはありませんか？ - デー） このwaifu2xがざっくりどのように超解像を行っているかというと、ベースはSRCNNというConvolutional Neural Netoworkを使った超解像手法であり、下記のよう
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SNOWなどで加工された写真の“元の状態を予測して加工するアプリ”がリリースされ戦々恐々とする自撮り界隈の人々「なんて恐ろしいアプリを…」
続・GANによる二次元美少女画像生成 – Lento – Medium
AIが一般人を一瞬でダンサーに。OpenPoseを応用した「Everybody Dance Now」がすごい | Ledge.ai