はてなブックマーク

＜概要＞ iPhoneのデプスカメラを使ったフェイストラッキングで、モデルの顔がリアルタイムにいっぱい動く このしくみに対応したアプリでVRMモデルを動かしてあそんでみよう ＜概要＞ 1.パーフェクトシンクとは ■対応機種リスト　2021年11月現在 2.パーフェクトシンク対応モデル 2-1.要件 2-2.サンプルモデル 2-3.雛形からのBlendShapeコピー BlendShapeコピーツール Blenderで編集済のモデルへのBlendShapeコピーについて 3.パーフェクトシンク対応アプリ 3-1.iOS単体アプリ 3-2.PC併用アプリ 1.パーフェクトシンクとは iOSのARKitで取得できるBlendShapeLocation全52点のパラメータに対して、VRMの同名BlendShapeClipを52個用意し、BlendShape単体ではなくClipを用いてVRMモデルの

------------------------------------------------------------ 技術書典14に参加しました！ 3Dモデラー・3Dアバターのためのフェイストラッキングでつくる表情レシピ＆ARKit完全ガイド：ぬっかラボ FACSに基づくフェイストラッキングでかわいい表情をつくる知見をまとめたものです ------------------------------------------------------------ 既存の3Dモデルをフェイストラッキングに対応させる手順とリンク集 フェイストラッキングに対応したiPhoneまたはiPadが必要です モデラーさん向けを想定していますが、 Unityだけで完結するかんたんコースもあります ほっぺぷくー pic.twitter.com/ncEBT2IegF — はいぬっか (@hinzka) 2023年

iPhoneフェイストラッキング向けBlendShape追加　VRoid編 ＜概要＞ 雛形モデルからターゲットモデルへ、Blender上でBlendShapeを複製するための条件を整える ゴゴちゃんによるBlendShape転送の検証結果 結論： ViviとSakuradaでは形状, UVマップ, 頂点数に差があるため転送はできませんでした。 ただし以下の条件下であればモーフ転送が可能な場合があります。 ・UniVRM→FBXExporter経由でBlenderにインポートする ・VRoid Studioのバージョンが同一である ・VRoidの性別が同一である — Gogo (@3str6) 2020年7月7日 ・BlenderのVRM IMPORTERアドオンで直接VRMを読み込む → メッシュの状態が変わってしまう。シェイプキーのコピー失敗 ・中間ファイルとしてGLTF(.glb)を経

追記（2021/12/2） 調査の結果を反映して資料を作り直しました。GIFアニメーションつきで解説しています。 日本語版 hinzka.hatenablog.com English version hinzka.hatenablog.com スマホだと表示が崩れます！上記記事内のリンクからGoogleDocsのファイルをご利用ください シェイプ名 1 browInnerUp ▶ARKit資料 眉の内側を上げる 眉尻は動かさない 困った眉 眉に関連するシェイプキーは全部で4種 - browInnerUp - browDownLeft / browDownRight - browOuterUpLeft / browOuterUpRight - noseSneerLeft / noseSneerRight 目の表情に関するシェイプキーは全部で3種 - eyeBlinkLeft / eyeBli

アバターとは、ユーザーの分身となって画面に表示されるキャラクターです Windowsアプリを使ったZoomミーティングで、生身の自分のかわりにアバターを画面に表示させる手順について説明します 1.　準備 2.　アバターの表示 概要 アバター表示ソフト アバターのモデルデータ（ VRM形式） アバター表示ソフトの使用例 3.　Zoom導入 Zoomアカウントの作成 Zoomのインストール 仮想カメラ対応パッチのインストール 4.　OBS導入 OBSのインストール OBS仮想カメラの追加 5.　Zoom上にアバター映像を表示 1.　準備 全体的な流れ ①Webカメラを使ってリアルタイムにアバターを操作するソフトウェアを実行 ↓ ②映像をOBS（ストリーミング配信ソフト）上に表示 ↓ ③映像ソースとしてZoomに流し込む OBS上に表示している映像がそのままZoomに送られます 複数のソースを組

・iPhoneのFaceIDでフェイストラッキングしたい ・VRoidで作ったうちの子に表情を追加したい ・でもBlenderとかさわったことない… ⇒　ほっぺプクー　程度なら、Unityだけでもわりとかんたんに追加できたよ！ という記事です 準備 Blend Shape Builder VetrexTweaker FaceID Blend Shape Builder & Vertex Tweaker UnityJapan提供のアセット https://github.com/unity3d-jp/BlendShapeBuilder メッシュの頂点を動かしてBlendShapeを追加できるアセットです Blenderなどのモデリングツールを使わず、Unity単体でBlendShapeを追加できます 今回はこれを使って「ほっぺをふくらます」モーフを追加します ※モデルの改変を伴います　ライセン

頭部のViveと左右のハンドコントローラに3つのTrackerを追加し、合計6点のトラッキングでキャラクターモデルを操作します。（今回は指の動きはとっていません） Viveのデモをちょっと触ってみたら難しくてうまく使えなかったのですが、FinalIKのVRIKだけでもかなり動かせたのでまとめておきます。 環境：Unity5.6.0f3 （左足に引っかかったケーブルを手探りでよけるの図） 使用デバイス HTC Vive、Viveコントローラ（左右） Vive Tracker　3個 3つのTrackerは、腰の後ろ、左右の足の甲にそれぞれ装着します。 取付の際には、坪倉さん（@kohack_v）が3Dデータを公開されているアダプター（HTC Vive Tracker Band Adapter）がとても便利です。お近くの3Dプリント出力サービスなどを利用してもいいかも。 更にVive Track