サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
大谷翔平
www.naturalsoftware.jp
8/9に行われた「Xtion 2 新製品発表会」に参加、登壇しました www.tekwind.co.jp スライドはこちら。 Xtion2やOpenNI2、NiTE2の概要と、KinectやRealSenseでの事例です。内容的には数年前のおさらいです。 RGB深度センサーの利用シーンについて from Kaoru NAKAMURA Xtion2について 2013年にPrimeSenseがAppleに買収されたことで、XtionやOpenNIがクローズされました。その時期からASUSとしてはXtion2のセンサーを探していたそうで、やっと今年製品としてリリースすることができたそうです。 センシング形式はToF、チップはTIを使っています。 流通はは来週あたりから開始されるとのこと。 Xtion2の特長 Kinect v2やRealSenseとの仕様上の性能比較は下記の通りです。 センサー性
自分がHoloLens案件で打ち合わせに行くときに使ってる動画をまとめます。 公式のYoutubeにいくつか載っており、公式の事例かつ自分が体験したもの中心にを紹介しています。あとはお客さんの業種や打ち合わせの流れで、公式以外のものも紹介したりしています。 順番は話の流れ。 Skype:遠隔サポート HoloLensを買えば実現できる基本的な事例ですが、いままでだと研究対象にもなっていた事例です。 HoloLensを装着した人とPCの人ととのSkypeで、HoloLens装着者の視界が見えるので遠隔でサポートできます。ここでは簡単なSkype単体を使った電気工事の事例ですが、あとで紹介するthyssenkruppのエレベーターのようにアプリに組み込んで(おそらく独自に実装して)業務のサポートツールとして使うこともできます。 www.youtube.com VOVLO:車のショールーム 表示
HoloLensはUnityでアプリを作りますが、Unityエディターから直接実行ファイルを生成するのではなく、一度UWPへ変換してVisual Studioでビルド後にHoloLens実機に配置、実行する流れになります。 このため、Unityの.NET 3.5とUWPのコードが共存することになります。特に問題になるのが、UWPではasync/awaitを多用しますが、Unityの環境ではC#のバージョン的にそもそもasync/awaitが使えないため、コードの多くがこれを想定していません。 ここではUnityのアプリでasync/awaitを使う方法について紹介します。またasync/awaitでマルチスレッドになるので、同期の方法についても合わせて紹介します。おかしなところがあったら教えてください。 UWPではないUnityでのasync/awaitはこちらが詳しいです。 neue c
HoloLensでのファイル書き込みについて紹介します。 HoloLensのファイルアクセスはUWP環境になるので、さまざま設定や制約があります。アクセスできるフォルダは下記を参照してください。 https://developer.microsoft.com/en-us/windows/holographic/App_model.html#known_folders とはいえ、Device PortalのFile Explorerからアクセスできる方が何かと便利なので、必然的に「カメラロール」、「ドキュメント」、「アプリのローカルフォルダ」の3種類になると思います。 それぞれの特長をまとめます。これらを踏まえて決めればよいかと思います。 カメラロール ピクチャーライブラリの権限が必要 フォルダが作れない 自動的にOneDriveで同期される ドキュメント 権限のつけ方が特殊 指定した拡張子
「Windows Mixed Reality」(旧「Windows Holographic」)用のデバイスとしてAcerが開発者版のHMDを出すそうです。 www.moguravr.com shiropen.com 「Windows Holographic」は「Windows Mixed Reality」に名前が変わったようです。 Windows Mixed Realityは$299~という価格でHoloLensの$3,000とはだいぶ違うのですが、値段相応に環境もかなり違います。ということで相違点をまとめてみます Windows Mixed RealityのHMDは想像の範囲でもあるので随時更新します。 HoloLens Windows Mixed Reality HMD 価格 $3,000/$5,000(PC不要) $299~(別途PCが必要) 動作形態 スタンドアロン PC接続 ケー
HoloLensのアプリで装着している人以外がその映像を見るにはMixed Reality Captureを使いますが、遅延があったり無線接続が不安定だったりカメラ画像があまりきれいではなかったりします。 それらを解決する一つの方法として、Spectator Viewというものがリリースされました。 Spectator view 試してみて動くところまではできました。右側のカラー映像が結果です。 なんとなく動いた pic.twitter.com/MVE4Gtj7ps — 中村 薫 (@kaorun55) 2017年2月14日 間違っているところなどあればフィードバックいただけると助かります。 概要 Spectator ViewはHoloLensアプリに第三者視点を提供します。いままでもMixed Reality Captureでできましたが、よりきれいな映像にすることができます。 Spec
1/28(土)の福岡を皮切りに、全国4か所でHoloLens Meetupを開催しました。 Fukuoka HoloLens Meetup vol.1 - connpass Tokyo HoloLens Meetup vol.1 - connpass Osaka HoloLens Meetup vol.1 - connpass Tohoku HoloLens Meetup vol.1 - connpass 参加してくれた方々、協力してくれた各地のスタッフの方々、会場提供などご協力いただいた方々ありがとうございます。 各地それぞれ楽しく会を開催できました。 2016/12/2の日本での予約開始時にリリースが2017/1/18に決まったことを受けてTMCNや各地のxMCNメンバーの方に持ちかけたところ、みなさん乗ってくれました。 1/18に株式会社ホロラボの登記をしたこともあり、会社紹介もかね
UntiyでHoloLensアプリを開発する場合、カメラ位置の変更や各機能の追加など、アプリ開発に入る前に結構やることがあります。 Academyに入っているPrefabを使ってもよいのですが「HoloToolkit-Unity」というツールキットがかなりよいので紹介します。 github.com 使い方 上記リポジトリはcloneなりダウンロードなりで手元に持ってきます。 Unityで新しいプロジェクトを作成します。 「HoloToolkit-Unity\Assets」にあるものすべてをProjectビューにコピーします(ここではGitHubからZIPでダウンロードしたのでmasterがついています)。拡張子がrspとmetaのものも入れてください。これらがない場合、コンパイルエラーになります。 HoloToolkitフォルダ以下に機能ごとのフォルダがあります。 CrossPlatfor
思い付きで3Dスキャンしたデータにリグ(ボーン)、モーションをつけてHoloLensに入れてみたら、思いのほか反響があったのでおおよその手順を記録しておきます。 慣れるとスキャンからリグ入れまでで30-60分でしょうか。 詳しい人からすると目新しいものではないかもしれませんが、手軽にここまでできるようになったというのは進歩なんだろう思います。 モデル フリー素材です。常識の範囲内でご使用ください。 https://www.dropbox.com/sh/kxtcgvzbgxo4bzv/AAAS1TkKjCWPe826qYXQkhr_a?dl=0 必要な機材、アプリ Storcutre Sensor:iPadに装着する3Dスキャナーです。iPadの世代によってStructure Sensorのブラケットが違うの注意してください。Structure Sensor単体で$379です。 iPad:S
今月末からのHoloLensイベントでのハンズオンに向けて、開発環境のセットアップとハンズオン資料を公開しました。 使用バージョンは以下の通りです。 Unity 5.5.0p2 Visual Studio 2015 Community/Enterprise HoloToolkit v1.5.5.0 バージョンの組み合わせにより、動かない機能があったりするので、しばらくはこの組み合わせで進めます。 HoloLens Meetupについて ハンズオンとMeetup(勉強会)の2部構成になっています。 ハンズオンは「ご自身のHoloLens持ち込みが必須」となっています(HoloLens最大の特徴であるSharing体験も行います)。 Meetupは参加条件ありませんので、ぜひぜひご参加ください。 福岡(1/28(土)):https://hololens.connpass.com/event/4
Canvasでスキャンした部屋のCADデータが来ました。 www.naturalsoftware.jp 予定が25日で、実際に来たのが28日(現地だと27日かな?)でした。休暇もあったのと後からメールで「元のモデルに穴が空いててうまくできない場所があったよ」的なものが来てたので、手間取らせてしまったのかもしれません(たぶん手作業ですよね)。 こんな感じのデータが(色がついてないから、かろうじて見せられます) こうなりました。 エアコン、窓がきれいになっています。他にキッチンの棚や冷蔵庫なども残っていました。 データ形式はDAE,DWG,SKPで、このほかに元のスキャンデータ(上のモデル)と色付きのものがダウンロードできました。 Unityにつっこむ 今回このサービスを試した理由は、UnityがDAEファイルのインポートをサポートしているからです。 上図のCADデータはUnityに取り込んだ
HoloLensの日本での提供が決まりました。 12月にプレオーダー開始、その後に発売のようです。実際に手元に届くのは年が明けてからでしょうか。 プレオーダーや価格は後日は後日発表されるようです。 news.microsoft.com これで、問題なくHoloLensが日本で使えるようになります。 体制も作れるように動いていますので、体験会、ハンズオンセミナー、開発などのご相談もぜひ。 HoloLensの発売からのまとめはこちら。 www.naturalsoftware.jp 概要スライドはこちらです。 docs.com
HoloLens の視線カーソル(Gaze)とAirTap(Gesture)を使ってみます。 HoloLensの選択処理は現状これしかないので、なんらかのアプリを作る上では必須の機能となるでしょう。 プロジェクト全体はこちらにあります。 github.com 視線カーソルの種類 今回はHoloToolkitを使用します。HoloToolkitの視線カーソルにはいくつかあり、通常のカーソルや手の検出を見せるカーソルなどがあります。アプリによって使い分ければよいでしょう。 通常のカーソル 手の検出を示すカーソル 視線カーソル(Gaze)とAirTap(Gesture)の追加 HoloToolkitを追加します。導入方法についてはこちら。 www.naturalsoftware.jp オブジェクトの配置 Hierarchyビューにあるものを削除して、UtilityのMain Camera Pre
HoloLensは左右にスピーカーがついており、耳元で音をだすことができます。 ソフトウェア的にも空間音響をサポートしており、カメラ(HoloLens)の位置に対して音源(GameObject)から音が出ているように聞こえます。 例えば、音源が右にあるときは右のスピーカーから、左にあるときは左のスピーカーからという感じです。 空間音響を使う 空間音響は、音源となるGameObjectにAndioSourceを追加し、設定を少しいじるだけです。AndioSourceの設定もスクリプトにしたので、コードなしで立体音響になります。 まず、カメラの周辺にGameObjectを配置し音を鳴らします。 それぞれのGameObjcetにAudioSourceを追加し、音声データを設定、「Play On Awake」のチェックを外します。 あと空間音響の設定用にSpatialSoundスクリプトを張り付け
HoloLensのToolkitに、HoloLensが認識した空間を元に平面を検出する機能があります。 上の画像は部屋の隅をキャプチャしたものです。壁2枚と天井を検出しています。 動きは次の動画を見てください。平面検出によって、床、壁、天井、テーブルの検出ができます(手持ちのテーブルは小さいためか、検出できませんでした)。平面および種別床や壁など)はそれぞれアプリで取り出すことができ、壁を使ったアプリケーションに応用できます。 HoloLensが認識した空間から、床や壁、天井などの平面を検出する 平面検出のコードはこちらにあります。C++/CXでビルドされていますが、コード自体はほぼ普通のC++です。 github.com PlaneFinding 最初に平面検出を試す際は、AcademyのHolograms 230を動かすとよいです。 Holograms 230 動画のサンプルプロジ
昨日たくさんのHoloLensが集まる機会があったので、共有機能を試してみました。 HoloLensで5人のホログラムを共有したゲーム HoloLensにはAnchor(アンカー:碇、目印)の機能があり、空間に目印を置くことができます。HoloLensは空間の座標を記憶できるので、Anchorは完全に実空間の位置となります。これをネットワーク経由で共有することで、複数人のHoloLensの空間位置関係を合わせます。 これによって、複数人の位置を把握でき、見ているものの共有ができます。実際に共有しているものはアンカーやゲームのオブジェクトとなり、アプリ自体はそれぞれのHoloLensで稼働しています。 手っ取り早く共有機能を試すには Holograms 240 を使います。ここにクライアントのUnityアプリと、サーバーのコンソールアプリが入っています。 共有アプリ作成手順 先のサンプルをダ
HoloLensは「Spatial Mapping」とよばれる周辺の凹凸を判別する機能を持っています。これによって現実空間にあたり判定をつけ、落下してくる仮想のオブジェクトを現実空間に配置できます。Unityで開発する場合、この凹凸情報はMeshデータとして保持しています。 この情報は奥行きを持っているので、下図のようなCubeが机の奥にある場合、底面が見えなくなります。 ここではワイヤーフレームでメッシュを描画していますが、これだといまいち現実感がないので、描画をしないで奥行き感をだしてみましょう。 落ちたCubeが机の奥にある感じがわかります(そんな感じで想像してみてくださいw) 先に書いた通り、Unity上ではあたり判定付きのメッシュとして持っているので、落下させるほうは普通にRigibody(重力)をつけてあげればOKです。 なお、このサンプルプロジェクトはこちらにおいてあります。
5月2日にHoloLensが到着して、2週間ほどで10か所を訪問しました。 体験対象はVRクラスタの方が多数です。 代わりに交換でOculus RiftやHTC Vive、meta1など体験させてもらいました。 そこでの所感をまとめておきます。 体験手順 ゆたんぽ状態のまま、開封の儀を執り行ってもらう(高スペックVR系デバイスのような事前準備は不要) 電源を入れて、スタート画面を表示した状態でまずはメインの人にかぶってもらう おー!となる 一度返してもらって、USB接続からのストリーミングで操作方法をレクチャー Air Tap、Bloom、ウィンドウの表示、MR体験を見せる あとは被って好きにしてもらう 途中で3Dモデルを再構築して見せる 所感 雑多 わかっている人(いままでAR/VRをやってきた人)ほど驚くので良いフィードバックが返ってくる 体験会は一度に4,5人程度がよい(1-2時間ほ
最終更新:2017/02/13 はじめに HoloLensの概要からアプリ開発までをまとめています。 下記エントリーを合わせて読むと網羅的な知識を得られます。 UnityでHoloLensアプリケーション開発Tips | Develog.VR HoloLens のアプリ開発はじめました - 凹みTips 概要 マイクロソフト社が進めている頭部装着型のPC。Windows 10が入っており、それ単体で動作するため、HMD(ヘッド・マウント・ディスプレイ)とは別物としている。 Oculus RiftやHTC ViveのようなVR(Virtual Reality:仮想現実)ではなく、部類としてはMR(Mixed Reality:複合現実感)とアナウンスされています。MRにはVR的な要素やAR(Argumented Reality:拡張現実感)的な要素も含んでいます。厳密な定義としては現状のHol
連休前にHoloLensが届いたので、休み中いくつか動画を作ってみました。 www.naturalsoftware.jp 動画はHoloLensのデバイスポータルにある「Mixed Reality Capture」という機能で、HoloLensの現実とホログラム合わせた空間を画像、動画、ライブ映像で取得できます。 ジェスチャーの基本 最初はHoloLensのジェスチャーです。これができるとHoloLens内でおおよその操作はできるようになります。 HoloLensの基本ジェスチャー アプリを動かす HoloLensにはWindows 10と同じストアがあります。アプリはHoloLens用に配信されているものに限りますが、OneDriveやPowerPointなどMicrosoftのアプリはすでに利用できます。見た感じもほぼキャプチャと同じなので、HoloLens内での作業というのも現実的な
Wave1に通ったHoloLensが本日到着しました。 www.naturalsoftware.jp ほかにも何人かWave1で購入できた方がいて、先週の土曜日に体験会が開催されたりしていました。 ytabuchi.hatenablog.com hatsune.hatenablog.jp MR(Mixed Reality) HoloLnesはMR(Mixed Reality:複合現実感)という部類だそうです。AR,VRと近いものですね。ARが現実に仮想オブジェクトを上乗せする、VRが仮想オブジェクトの世界を構築するのに対して、MRは仮想オブジェクトが現実の影響を受けるということが違いでしょうか。 ちょっとサンプルアプリを作ってみました。HoloLnesが認識した空間がリアルタイムでメッシュ化され、仮想オブジェクトに影響を与えます。 HoloLensでMixed Reality プロジェクト
HoloLensエミュレーターでいくつかアプリを作ってみたので、ドキュメントと合わせてまとめてみます。 MRアプリなのでUnityでの開発が主となります。 HoloLens(エミュレーター)が認識した空間を走り回るユニティちゃん ユニティちゃんが自分の視線の先に向かって走ります。HoloLensの認識した空間を走るので、段差があると落ちます(上るのはできませんw) HoloLens(エミュレーター)が認識した空間を走り回るユニティちゃん Holoportation的なやつ KinectのデータをHoloLensに表示させることで、目の前に人がいるような感覚になります。3次元情報を送っているので、回り込んだりできます(ただし、いまは一台なので、裏は見えません)。 research.microsoft.com Holoportation的なやつ 開発環境 Install the tools U
先日のBuildで Xbox One でも自分が開発した UWP アプリが動くようになりました。話自体はだいぶ前から出ていたのですが、やっと自分の環境でも実現できるようになりました。 Visual Studio 2015(Update2のインストールが必要)から接続し、配置、デバッグするためには、Xbox OneをDev Modeに移行させる必要があります。これにはストアから配信されている「Dev Mode Actiation」をインストールし、Xbox Oneを更新、モード変更します。ハードウェアは既存のXbox One端末でOKです。 概要、詳細はこのあたり読むと良いようです。 Starting today, anyone can turn their Xbox One into a dev kit for free | Polygon Set up your UWP on Xbox
Intel RealSenseをMax OSやLinuxでも使える librealsense が公開されていました。公式のSDKではないようですが、Intel RealSense labの実験的プロジェクトということです。準公式くらいでしょうか(位置づけは不明です)。 2016/01/31更新:公式から「公式じゃないよ」とのアナウンス。 Intel® RealSense™ Driver for Linux & OS X | Intel® Developer Zone github.com 2015年にIntel RealSenseをMac OSやLiunxでも動かせるようにというアナウンスがあったので、それが実現した形です。もちろん、Windowsでも動かせます。 リポジトリの説明は「Cross-platform camera capture for Intel® RealSense™ F
UnityでOpenCVを使う方法について調べました。 ネット上ではiOSだったり、C++からネイティブプラグインで使う方法はあったのですが、C#スクリプトから直に使う方法がありませんでした。前にOpenCvSharpを使ってやったのですが、うまくいかなかった経緯もあるので、再挑戦です。結果的にはOpenCvSharpで実現できました。なお、確認環境はWindowsのみです。 必要なものは次の2つです。OpenCVのバージョンに対応したOpenCvSharpを使用してください。今回は2.4.9でやっています。 OpenCV - Browse /opencv-win at SourceForge.net Releases · shimat/opencvsharp 作ったものはこちらに置いておきます。 https://github.com/kaorun55/UnitySandbox/tree/
Unityを使うことが増えてきた今日この頃、みなさんいかがお過ごしでしょうか。 主要なDepthセンサーは、ほぼUnity対応が行われており、Kinect SDK v2もUnity対応されることになりました。 Kinect v1については公式なUnityパッケージがないのですが、(おそらく)有志の手によって作成されたUnityパッケージがあったので紹介します。「ユニティちゃんをKinect for Windows v1」で動かすで使ったものです。 なお、このパッケージのライセンスは今のところ僕のほうでは把握してないので、取扱いは自己責任でお願いします。またUnityはPro版でしか確認していませんが、Free版でも動くんじゃないかとは思います。 Microsoft Kinect - Microsoft SDK - Unity3D こちらも併せて参照してください。 KINECT SDKを使う
「Intel Developer Forum 2015」でRealSense周りでいろいろ発表があったので、まとめておきます。 ほかにもあれば教えてください。 「Google Project Tango」に「Intel RealSense」を提供 一番大きな話題がこれでしょうか。Googleが進めているProject TangoのセンサーにRealSenseを提供とのことです。 Project Tangoはタブレット内蔵型の空間認識センサーとして進められていました。少し前にタブレットがセールになっていたので、新バージョンがでるのでは?という話もありましたが、RealSense内蔵になったようです。 詳細は分かりませんが、用途的にはR200が内蔵でしょうか。 japan.zdnet.com Razerが「RealSense」対応カメラの開発を表明 Razer社が「RealSense」対応カメ
KinectやRealSenseを使っているとベクトルや行列、クォータニオンを使ったコードを書くことが増えます。 Unityを使っていると、Unityが面倒みてくれるのでよいのですが、WPFなどの環境で使うとベクトル演算ができるクラスがありませんでした(Leap Motion SDKは独自でベクトル演算クラスを用意してくれています)。 探していたところ、NuGetに「System.Numerics.Vectors」というのがあるそうなので入れたみたら、ほしいものが一通り入っているようです。 d.hatena.ne.jp サンプル 試しに、Kinectで両手の間の距離を計算するサンプルを作ってみます。 最新のv4.1.0では .NET Framework 4.6が必要なので、本サンプルはVisual Studio 2015で作成しています。 WPFアプリを作成し、NuGetから「System
最終更新:2016/06/07 概要 インテル社が進めている3D Depthセンサー。基本的にはPCに内蔵した形での利用を想定。現状でもF200タイプの全面センサー内蔵PCがいくつか発売されている。 www.intel.co.jp 開発の際には外付けの開発キットを購入することでも、RealSenseを利用したアプリケーションを開発できる。 インテル RealSense カメラ(開発キット) SR300 購入先:Intel®RealSense™ Developer Kit featuring SR300 - Intel® RealSense™ Developer Kits 2016Q1に公開予定 機能的にはF200相当 F200とSR300の比較について RealSense - A Comparison of Intel® RealSense™ Front-Facing Camera SR3
次のページ
このページを最初にブックマークしてみませんか?
『Natural Software』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く