Apple Vision Pro開発の第一歩: XcodeとUnityで始める簡単開発ガイド
はじめに MESONで実施中の MESON Apple Vision Proアドベントカレンダー #2 22日目の記事となります。 前日の記事はこちらになります。 この記事は、これからApple Vision Proで開発(visionOS向けの開発)を始める方向けに、開発の第一歩を踏み出す一助となるような内容をまとめたものです。 まず、開発に必要なものを紹介し、次に開発環境の準備を2つのパターンで説明します。 最後にプロジェクトの作成から動作確認までの手順を、MixedRealityの簡易的なアプリケーションを例に解説します。 開発に必要なもの visionOS向けの開発には、Appleシリコンを搭載したMacが必要です。 シミュレーターを使って、テストを行うこともできますが、ハンドトラッキングや平面検知などの機能のテストには、実機デバイスが必要となります。
【Unity】UnityでAppleVisionPro を用いてARPlane/ARMeshを利用する方法と注意点【VisionOS】 - Qiita
PolySpatial 導入について 以下の内容は様々な方がTechブログで記載されていたり、公式の導入ドキュメントがあるのでそちらをご覧ください Proライセンスの設定方法 PolySpatial をUPMで入れる方法 基本的な使い方 共通の設定項目 Scene 周り AR動かす用のコンポーネントを配置しましょう XROriginの設定 TrackingOriginMode はFloor にしておくのがお勧めです DeviceやNotSpecified だと現実との位置計算が面倒なので素直に床を高さ=0にするのが楽です よくわからなかったらPolySpatial のMixedRealityのサンプルSceneをそのまま利用しちゃうのが楽です ARSessionの配置 基本的にはデフォルトの状態で問題ないです よくわからなかったらPolySpatial のMixedRealityのサンプル
Visionフレームワークを利用して手の形（グーとパー）を認識する
はじめに サンプルアプリを作成したので、まずは試してみてください。 github.com/moutend/HandPoseRhythmMachine このアプリはカメラの映像を500 msごとに取得し、手の形を識別します。手の形がグーの場合はマラカスの音、手の形がパーの場合は拍手の音が鳴ります。 実装の考慮事項 Visionフレームワークの使い方はApple Developerのサイトにて詳しく説明されていますので、そちらを参照してください。ここからはドキュメントでは触れられていない、アプリを実装する際の考慮事項についてまとめます。 （その1）Visionフレームワークにグーやパーなど手の形を分類する機能はない Visionフレームワークで手を認識した際に得られる情報は座標と信頼度から構成されるジョイントとよばれる値のみです。グーやパーなど手の形を分類する機能は提供されていません。 指につ
【Unity】VisionPro向けUnityアプリのパフォーマンスチューニング方法【AppleVisionPro】 - Qiita
ARアプリのスタートアップ会社のGraffity でエンジニアをしてますcovaです。 UnityのVisionPro 向けSDKであるPolySpatialを利用してゲームを開発するにあたり 避けては通れない道として パフォーマンスチューニング があります。 ここの部分で四苦八苦したことを備忘録として残しておこうと思います TL;DR VisionPro の仕様を知っておく必要がある 実際のパフォーマンスを測定するときはXcode の RealityKit Trace を使いましょう Unity 側のProfiler はEditor上でのパフォーマンスチェック程度にとどめましょう 基本的にはUnityのパフォーマンスチューニングの方式が利用可能。ただし、VisionOS特有のチューニングはなさそう。 経緯 Graffityで開発しているハンドトラッキングを活用したゲームで、途中から極端に
Build visionOS apps with Godot | GodotVision
Introduction With GodotVision, you can create games and apps for Apple's visionOS using the Godot Game Engine. Defend Cow Castle, a visionOS game made with GodotVision GodotVision runs a headless Godot instance that controls native RealityKit views. Roughly speaking: Godot is the backend, RealityKit is the frontend. You get the power of the Godot editor AND the awesome native rendering features o
Let's Apple Vision Pro! Sampleから学ぶPolySpatialのXR機能紹介
ドキュメントはこちら。PolySpatial visionOS 1.1.6の場合 An Apple Silicon Mac Unity2022.3.18以上 Xcode 15.2以上 visionOS 1.0以上 Unity PolySpatial開発の前提の話 Unity PolySpatialとは UnityでvisionOS向けアプリを作成するためのパッケージです。 visionOS向けのプロジェクトのビルドをUnityエディタから行います。 ① Mixed Reality Volume Immersive Space ② Virtual Reality - Fully Immersive ③ Windowed Apps のアプリパターンを作成できます。 引用:UNITE2023 Unity PolySpatial + visionOS について知っておきたいすべてのこと 本記事では
Reality Composer ProプロジェクトをXcodeに追加する
概要 Apple Vision Pro向けアプリの開発にはReality Composer Proを利用してシーンを構築していくのが一般的です。 一方、PolySpatialを用いてUnityで開発を行う場合、基本的なシーン構築についてはUnityが出力したコードおよびアセットですべてが管理されており、Reality Composer Proのアセットは含まれていません。しかし、PolySpatial 1.1.4からはSwiftUIとの連携機能が追加されるなど、Xcodeで行う開発フローを取り込むことが可能となりました。 これを利用しようと思い、自分が開発しているUnityプロジェクトが出力したXcodeプロジェクトにReality Composer Proプロジェクトを追加しようとしたところプチハマりしてしまいました。 調べても記事が見つからなかったので手順をまとめておこうと思います。知
MESONメンバーが送るApple Vision Proアドベントカレンダー記事特集（2024.02）｜MESON
2024年2月、Apple Vision Proの発売月となりました。MESONでは、Apple Vision Proに関する記事を1ヶ月連続で投稿するチャレンジを実施しました。 このチャレンジを通して、MESONメンバーがApple Vision Proに関する技術・デザイン・ビジネス観点における知見や考察を公開し、世の中に発信することができました。MESONのバリューの一つに、「知を通わせる」というものがあります。今回のチャレンジはMESON社内のみならず、日本全体にApple Vision Proの知を通わせることができた取り組みになったと考えています。 ぜひ、メンバー全員の「知」をご覧ください！ 2/5：Unity PolySpatialを使ってApple Vision Pro向けアプリを開発する
Apple Vision Proを快適にするためにしたこと（西田宗千佳） | テクノエッジ TechnoEdge
1971年福井県生まれ。得意ジャンルは、パソコン・デジタルAV・家電、ネットワーク関連など「電気かデータが流れるもの全般」。主に、取材記事と個人向け解説記事を担当。 Apple Vision Pro（以下Vision Pro）を購入して1カ月以上が経過した。「飽きて使わなくなった」という人もいるようだが、筆者はほぼ毎日、便利に使っている。 仕事自体も、Mac＋物理ディスプレイ6に対してMac＋Vision Proが4、くらいの比率で利用している。 そういう風に使うとなると、仕事環境や周囲の配置自体も、Vision Pro向けの最適化が必要になってくる。 今回はどんなことをしたのか、ちょっとまとめてみたいと思う。 イベント告知：Vision Proがドレスコードの「Apple Vision Proパーティー」第2回、秋葉原UDXで3月28日(木)開催。持っていなくても参加できます | テクノ
はてなエンジニアによるApple Vision Pro座談会 - Hatena Developer Blog
2023年6月のWWDC（World Wide Developers Conference）23で発表され、2024年2月に米国で販売が開始されたApple Vision Proを、はてなのエンジニア5人が入手しました。 ということで、3月初旬に5人がApple Vision Proをつけて、オンライン座談会を行いました。その様子をお伝えします。 Google Meetで座談会をしています 本記事中のApple Vision Proは、使用者がそれぞれ「技適未取得機器を用いた実験等の特例制度」に基づく届出を行い、適切な管理の下に使用しています。 この無線設備は、電波法に定める技術基準への適合が確認されておらず、法に定める特別な条件の下でのみ使用が認められています。この条件に違反して無線設備を使用することは、法に定める罰則その他の措置の対象となります。 座談会の模様はYouTubeでも公開し
Unity PolySpatial 1.1.4を使ってC#とSwiftUIを連携させる
概要 PolySpatial 1.1.4が発表されました。アップデートの中で注目なのが、SwiftUIの連携部分が追加された点です。 ただ、visionOSの仕組み上ちょっと癖のある実装となっています。今回は新しく追加されたSwiftUIと連携する方法について解説したいと思います。 SwiftUIはネイティブ実装 いきなり、Unityで開発するんちゃうんかい、という話ですがSwiftUIを利用するにはSwiftによる実装を行わないとなりません。しかし、visionOSの特徴である磨りガラス風のUIを利用できることを考えると一考の余地はあるでしょう。 UnityのオブジェクトとSwiftUIが共存している PolySpatialにおけるSwiftUIの仕組みを見てみると、やや力技と言わざるを得ない実装になっています。実装手順の概要を書くと以下のようなフローで実装していきます。 SwiftUI
Unity PolySpatialを使ってハンドトラッキングする
概要 MESONではApple Vision Pro向けの開発を積極的に行っています！ 今月はApple Vision Proの発売記念ということで1ヶ月記事チャレンジを行っています。この記事はその2/19の記事です。 2/18の記事はこちら（純粋くんと西田はかせ ⋆ 第一話 ⋆） ちなみにアプリ開発も行っていて、第一弾として「SunnyTune」という天気を体感できるアプリを開発し、Apple Vision Proのローンチに合わせてリリースしています！ 空間コンピューティング時代における新しい体験作りを今後もしていきたいと思っています！ 自分は前回、Unity PolySpatialを使ってApple Vision Pro向けアプリを開発するという記事を書きました。今回はPolySpatialを用いてハンドトラッキングするためのあれこれを書いていきたいと思います。 開発環境 前回同様、
【AppleVisionPro】おそらく国内初のAppleVisionPro専用ゲームをリリースしたので開発中大変だったことを紹介します【Unity】 - Qiita
大変だったこと Appleのポリシーで色々取得することができない. 以前の記事 でも紹介した通り、AppleはVisionPro においてはユーザーのプライバシー保護の観点から様々な情報を開発者に 隠蔽した状態 で提供します。 隠蔽される情報の例としては以下のとおりです ユーザーの両手の位置（HandTrackingの座標) 視線ベクトル(Gaze) カメラ映像(ColorTexture) これは変に開発者に情報を提供すると、特にカメラ映像とかに関しては映っている人の情報だったりを吸い出せてしまうため、妥当な判断だと思います。 しかしながら、入力値が色々とれなくなるため、かなり工夫しないと従来通りのiPhone/iPad 用ゲームのような開発テクニックは使えません。 その代わり以下のComponent/Classが用意されています VisionOSHoverEffect : Hoverされ
Apple Vision Pro で3Dキャラクターに付いてきてもらう｜npaka
「Apple Vision Pro」での3Dキャラクターに付いてきてもらう手順をまとめました。 ・Xcode 15.2 (Apple Silicon) 前回 1. VRM を usdz に変換「VRM」をusdzに変換する手順は、次のとおりです。 (1) モデルの準備。 「ニコニコ立体」から「ニコニコ立体ちゃん」をダウンロードします。 (2) Blenderを起動して「VRM Add-on for Blender」をインストール。 リポジトリからアドオンファイル (VRM_Addon_for_Blender-release.zip) をダウンロードし、Blenderの「プリファレンス→アドオン→インストール」でインストールし、チェックボックスで有効化します。 (3) Blenderのメニュー「ファイル → インポート → VRM」でニコニコ立体ちゃんのVRMファイル (AliciaSoli
[visionOS] ARKitで検出したシーンのメッシュを可視化する
本記事でやりたいこと： visionOSで、ARKitのScene Reconstructionで検出したシーンのメッシュを可視化したい。 iOSでScene Reconstructionのメッシュを可視化した例。これをvisionOSでやりたい。 方法のひとつとしては、Xcodeの "Visualizations" 機能を使えば、ポチッとチェックを入れるだけで可視化できる。 が、そうではなくて、プログラムからシーンのメッシュを描画するにはどうするか、という話。 公式サンプルの実装は何が足りないか visionOSにおけるARKitのScene Reconstructionについて、公式チュートリアルが公開されている： 以前はドキュメントだけだったが、サンプルコードも最近公開された。（※ ARKitなのでVision Pro実機でしか動作確認できない（シミュレータでは動かない）） このチュ
![[visionOS] ARKitで検出したシーンのメッシュを可視化する](https://cdn-ak-scissors.b.st-hatena.com/image/square/864fd5c96eed0184f9403dfc8cc6a865a8579bbf/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--nppPPfiF--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BvisionOS%25255D%252520ARKit%2525E3%252581%2525A7%2525E6%2525A4%25259C%2525E5%252587%2525BA%2525E3%252581%252597%2525E3%252581%25259F%2525E3%252582%2525B7%2525E3%252583%2525BC%2525E3%252583%2525B3%2525E3%252581%2525AE%2525E3%252583%2525A1%2525E3%252583%252583%2525E3%252582%2525B7%2525E3%252583%2525A5%2525E3%252582%252592%2525E5%25258F%2525AF%2525E8%2525A6%252596%2525E5%25258C%252596%2525E3%252581%252599%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3AShuichi%252520Tsutsumi%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9saDMuZ29vZ2xldXNlcmNvbnRlbnQuY29tL2EtL0FPaDE0R2pHcm5LNC1XQ2l0MVBwSUFqSTFFODhnLXRFZUd6UmRfVkcwNlZwRmc9czI1MC1j%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
Apple Vision Pro (visionOS 1.0.2) における WebXR Device API とその周辺の現状確認
@ikkou です。ウェブにおける XR である WebXR を長らく推しています。 ㊗ Apple Vision Pro 発売 🎉 先日 2024/02/02 に US で Apple Vision Pro が発売されました！ 昨年 6 月の WWDC23 にあわせて発表された Apple Vision Pro ですが、その時点で Safari on Vision Pro の WebXR Device API 対応が示唆されていました。 その後、Apple Vision Proデベロッパラボで 2 度ほど実機に触り、実際の挙動を確認していましたが、例によって NDA 厳守なので Simulator の話もともかく実機の話は控えていました。が、めでたく発売日を迎えて実機を以て触れられるので Simulator では確認できない部分も含めて WebXR Device API と関連する A
Unity PolySpatialを使ってApple Vision Pro向けアプリを開発する
概要 いよいよApple Vision Pro、発売されましたね。MESONでは今後、Apple Vision Proの開発に力を入れていきます。第一弾として「SunnyTune」という、天気を体感できるアプリを開発し、Apple Vision Proのローンチに合わせてリリースしました！ 空間コンピューティング時代における新しい体験作りを今後もしていきたいと思っています！ X（旧Twitter）のポストを見ても、Apple Vision Proは好意的に受け入れられている印象です。結構街中で使っている動画なんかも上がっていて、意外と早く街中でARゴーグルやグラスが付けられる未来がくるのかな、とワクワクしています。 前述の通り今後もApple Vision Proに力を入れていく予定なのでその一環として、MESONでは1ヶ月毎日記事投稿チャレンジとして、Apple Vision Pro関連
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apple Vision Pro の概要と可能性 | ドクセル
Munechika Nishida on X: "届いたばかりのVision Pro用のアダプターを試す。（詳しくはリンクを参照） ライトシールが不要になるので顔に負担がないのは快適だが、重量が分散しないので前に重さを感じやすくなる。割と良し悪しはっきり。 https://t.co/ryzRRGqyr4 https://t.co/z37hiVioiF"
20240328_Apple Vision Pro小ネタ集 | ドクセル
