Unity でリアルタイムにリップシンクを行うプラグインを更に作り直してみた - 凹みTips
はじめに 前回、リップシンクするプラグインを作り直してみた記事を書きました。 tips.hecomi.com 色々とご反響を頂いたのですが、しかしながら母音推定の性能がいまいちでした。第 1 、第 2 フォルマントという周波数スペクトルの 1 つ目、2 つ目のピークを検出する方法を採用していたのですが、このピークの検出が周波数スペクトル包絡を得るために使っている LPC 解析のパラメタに大きく依存したり、またノイズや声の高さによって容易にピークが別の場所に移ってしまったりといったことが原因でした。 そこで手法を変え、MFCC（メル周波数ケプストラム係数）を求める方式へと変更しました。 speechresearch.fiw-web.net これはディープラーニング以前の音声認識に使われていたもののようで、母音だけでなく子音も含む音素の検出が可能な特徴量になります。以前の手法と異なりピッチ変化
Unity でリアルタイムにリップシンクを行うプラグインを作り直してみた - 凹みTips
はじめに Unity でリップシンクを行う手段としては、事前にデータを作るものからリアルタイムに解析するものまで色々あります。本ブログでも以前、自分で作ったり Oculus 製のものを解説したりしました。 tips.hecomi.com tips.hecomi.com 前者の記事で自分が 7 年程前に作ったものは様々な依存（外部ライブラリやツールなど）が多く扱いづらいものでした。そこで今回これらの依存を廃してリップシンク単機能に絞り、またもう少しナウい実装にして uLipSync という名前で作り直してみました。 Job と Burst コンパイラを利用して処理を裏に回しつつ高速化 Unity のパッケージ以外の依存を排除 本エントリでは使い方をちょっとした解説を交えて紹介したいと思います。 追記（2021/02/27） 新しいバージョンの説明を書きました。 tips.hecomi.com
Unity の XR 向けシングルパスステレオレンダリングについて調べてみた - 凹みTips
はじめに Unity での XR Settings に含まれる Stereo Rendering Method ですが、みなさんは理解されていますか？ちなみに私は理解していませんでした。。 なんとなく マルチパス は遅くて シングルパス にすると速い、しかしながらシングルパスにするにはシェーダの対応が必要、といった知識はあったのですが、では具体的に中で何が起きているのかはこれまで深く見てきませんでした。そこで本エントリでは以下の公式ブログ記事を参考に、両眼立体視系（2 枚のレンダーターゲットが必要とされる状況）の XR でのレンダリング手法の概要を見ると共に、ユーザがシェーダでどういった対応を行わなければならないのか、またそれは何故なのか、といった点を解説していきたいと思います。 blogs.unity3d.com XR レンダリング概要 Unity の公式ブログでは マルチカメラ、マルチ
Unity で Windows のウィンドウを個別にキャプチャできるアセットを作成した - 凹みTips
はじめに 本エントリでは先ほど公開した uWindowCapture という Windows において個別のウィンドウをキャプチャできるアセットの解説を行います。本アセットで実現できることは以下のようなものです。 ウィンドウを個別にキャプチャ 背面やデスクトップ画面の範囲外にある部分もキャプチャします デスクトップをキャプチャ uDesktopDuplication よりは低速ですが古い Windows でも動くはず ウィンドウマネージャ ウィンドウの追加・削除や検索 タイトルや位置、大きさなどの情報が取れます デモ 個別画面キャプチャ ウィンドウマネージャ VR 内ウィンドウ自由配置 作った経緯 VR の中ではディスプレイという概念を取っ払った環境が作れるはず！というコンセプトは色々な人が考えていると思います。それを考える上での題材の一つとして、デスクトップをどうするか、もう少し正確には
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
