タグ

ブックマーク / pkhungurn.github.io (3)

  • キャラクター画像一枚でVTuberになれるシステムを作ってみた【体も動かせるよ編】

    新しいシステムを用いて、人間の動きをアニメキャラクターに反映させる既存のツールを更新しました。更新された機能は以下の動画で確認できます。 またシステムの高速化と軽量化の方法も実験しました。画質の劣化を抑えながら、必要なメモリーを大幅に減らすことができ(パラメータのデータ容量を18倍縮小、必要RAMは3倍縮小)、処理速度も少し上げることが出来ました。 1   はじめに バーチャルYouTuber(VTuber)になりやすくすることを目標に、私は2019年から自由研究をやり続けてきました。 具体的には、アニメキャラクターの顔イラストを一枚受け取り、そのイラストを動かせるニューラルネットワークのシステムを作りました。システムは顔を回転させることと表情を変更させることが出来ますが、様々な問題があります。それらを解決しなければ、システムは実践的なコンテンツ制作ツールになれません。今回の研究目的は以下

    knok
    knok 2022/07/21
    教師データはMMDのレンダリング結果を使うとのこと。なるほど…
  • キャラクター画像一枚でより表情豊かなアニメーションを生成するシステムを作ってみた

    上の動画中のキャラクターはバーチャルYouTuberまたはそれに関連したキャラクターです。この記事中の画像や映像は彼らのファンアート・二次創作です。[footnote] ほとんどの動画内のバーチャルYouTuberはいちから、カバー、774 inc.、のりプロ、KMNZ等の企業様に所属してます。しぐれうい様、神楽めあ様、伊東ライフ様、兎鞠まり様、ノート竹花様、なつめえり様、名取さな様、ユキミお姉ちゃん様、聖女れりあ様、楪穂波様、幽ヶ崎海愛様、花雲くゆり様、ケリン様、ふくやマスター様の画像も使わせていただきました。誠に申し訳ございませんが、切り抜き動画やMADや同人ゲーム等の二次創作と同じように使用許可は全く取っておりません。2019年の記事を(まだ世に出ていない)学術論文にした時は一部の企業様に連絡して許可を頂きましたが、この記事で使用する許可は取っておりません。 私は2019年に一枚のキ

    knok
    knok 2021/02/04
    おおすごい。StyleGANに与えるようのデータ拡張にも使えそう
  • Talking Head Anime from a Single Image

    The characters are virtual YouTubers affiliated with Nijisanji and are © Ichikara, Inc. (see footnote) They have a very lenient guideline for derivative works which I have interpreted that official artworks can be used in the pursuit of hobbies as long as they are not sold or used for commercial purposes. In fact, there are fan-made games created using official materials. I think that what I'm doi

    knok
    knok 2019/11/28
    データセットはMMD由来なのか
  • 1