はじめに Unity には Microphone というクラスがあり、これを通じてマイクの情報や入力を取得できます。しかしながら Microphone は WebGL では利用することが出来ません。 docs.unity3d.com Unity では FMOD をオーディオ周りとして利用しているようで、基本的にスレッド上で動くためスレッドが（部分的にしか）利用できない WebGL とは相性がよくなく、結果的に Web Audio API をベースに自前で実装する、という選択をしたようです。その上で多くのオーディオ系 API は再実装されたものの、幾つか Web Audio API との相性が良くないものは利用不可、となっているようです。そして Microphone はごっそり「不対応」となったようですね。 私は uLipSync というリップシンクのためのライブラリを作っていまして、この中

はじめに 前回の記事で Windows Graphics Capture の解説を行いました。 tips.hecomi.com 記事中でも触れたのですが、調査の目的としては OVR Toolkit などにも使われている拙作の uWindowCapture にこの API を導入するためでした。従来の設計に合わせるのに少し時間がかかりましたが、ようやく安定して動くようになったので先程公開しました。これにより、従来のキャプチャの簡便性を保ちながら複数枚の 4K ウィンドウやデスクトップを簡単に切り替えながらキャプチャできるようになりました！本記事ではアップデートの解説と苦労話を少し書こうと思います。 uWindowCapture の基本については以前の記事をご参照ください。 tips.hecomi.com tips.hecomi.com デモ ダウンロード / インストール 以下のページから最

はじめに Mogura VR さん経由で ASUS 社の ZenFone AR のエンジニアリングサンプル品をお借りすることが出来たので色々調べてみました。Tango についての一般的な事柄や ZenFone AR そのものについては Mogura VR さんの方に寄稿いたしましたので、併せてお読みいただけると嬉しいです。 www.moguravr.com 本エントリでは寄稿した記事の補足や向こうには書かなかったコードと紐付けた紹介、推測や妄想も交えてまとめていきたいと思います。こうしたらアプリが作れるよ、という解説ではなく、あくまで概念や世界観の理解の方がメインです。なお「はじめました」というタイトルをつけたのですが、だいぶ前に返却してしまったので、続きはまた発売後に購入出来たら書きます...。 追記（2017/06/23） 本日より発売されました！ ASUS ZenFone AR SI

はじめに 世の中に Unity 向けの OSC 実装は既にあるのですが、自分の理解を深めるため（+ お盆で暇だった期間 + αで）OSC の実装をしてみました。 OSC とは OpenSound Control のことで、型やデータ長などの情報を付加したデータの詰め方が定義されていて、主に UDP に乗っかって通信に使われることが多いです。 http://opensoundcontrol.org/spec-1_0 Open Sound Control (OSC) 1.0 仕様 [日本語訳] 既に Unity 向けの実装は幾つかあります。 github.com github.com github.com なので、私の方では UDP の実装も含む形でユーザからは最小限の設定で使えるよう意識して作ってみました。 追記（2021/11/29） 新しいバージョンについての記事を書きました。 tips

はじめに Unity で Android 用のアプリを作る際、Unity だけで出来ないことをやろうとするとプラグインを利用することになります。Android 向けのプラグインは大きく分けて 2 種類あり、一つは Android の機能を利用する Java プラグイン、もう 1 つは C/C++ のコードを NDK でビルドして使うネイティブプラグインです。 Unity - マニュアル: Android 用のプラグインをビルド 今回はネイティブプラグインを利用して OpenCV と ArUco を使った AR な Android アプリを作る方法について解説します。まず、OpenCV を利用しない簡単なプラグインの作成方法を紹介し、その後 OpenCV を使ったサンプルを解説、最後に ArUco を利用して AR のサンプルを作ってみる、という流れで書いていこうと思います。 Unity で

本エントリは Oculus Rift Advent Calendar 2015 12 日目の記事になります。昨日は @MuRo_CG さんによる「アニメの雰囲気をVRに持ってくる方法」でした。以前 Gear VR のデモを見せていただきましたがすごいアニメでした！（語彙力がない） はじめに Ovrvision Pro は VR 向けのステレオカメラで、前モデルの Ovrvision 1 から大幅に性能がアップデートしたモデルです。 Ovrvision Pro | USB Open-Source Stereo Camera for AR/VR and Robot (Oculus Rift, HTC Vive) 今年 4 月末に Indiegogo でキャンペーンを終了してから 7 ヶ月とかなり速い到着でした。キャンペーンサイトには拙作のデモも載せていただきました！ Ovrvision Pro

はじめに GOROman さん（@GOROman）が、以下の様なつぶやきをされているのを見かけたので、その日のうちにやってみたお話です。 これVRストリーム中継楽勝で出来るんじゃないのかなー。ステッチどうするかだけど。。。とりあえず球体をざっくりUVテクスチャで繋ぐだけでもいいかも。— GOROman@今日はサンノゼへ (@GOROman) 2015年9月21日 THETA S は 10/23 に発売予定の全天球カメラで、現行機の m15 にはなかった Dual-Fisheye の USB カメラストリーミング（1280x720 15fps）と HDMI カメラストリーミング（1920x1080 30fps）が機能として加わります。これを Unity 上で見れるように、適当な UV 展開した球と、境界をアルファブレンドする適当なシェーダを作ってみました。最終的には、Nora さん（@Ste

はじめに 前回の記事で書いたように 8/1、8/2 に東京ビッグサイトにて開催された MFT 2015 へ友達と趣味で制作していた LITTAI というゲームを出展してきました。お越しくださった皆様、ありがとうございました！ LITTAI は Lit Table Interface の略の造語で、以下の様なコンセプトを掲げるゲームです。 テーブル上で実際にものを操作しながら遊ぶゲーム 操作するものはリアルタイムにカスタマイズ可能 ハードウェアとゲームの世界が連動 基本的なコンセプトは以前出展した Mont Blanc Pj. とほぼ同じで、こういった技術を使いつつ遊び手に技術を意識されないようなゲームの新しい遊び方を模索するのが目的です。 製作期間はネタ出しで 1 ヶ月、実験・制作が 2 ヶ月半くらいです。私は認識部とゲーム部のソフトウェア全般を担当しました。ハードウェア全般は前作同様 i

はじめに Point Cloud Libarary（PCL）の勉強を始めました。 PCL - Point Cloud Library (PCL) 【シリーズ「PCLを触ってみよう!」第一回】3D点群処理ライブラリ「Point Cloud Library」の概要 | DERiVE ブログ & メルマガ Point Cloud Library - Wikipedia PCL は 3 次元の点群（ポイントクラウド）を扱うための大規模な C++、BSD ライセンスなライブラリです。Kinect から得られるデータはデプス画像としてのデータですが、PCL ではこの画素を 3 次元空間にプロットし、フィルタリング、特徴推定、表面再構成、イメージレジストレーション、モデルフィッティング、セグメンテーションなどを行うための様々なアルゴリズムを利用することが出来ます。開発に携わっている会社のリストにはインテ

はじめに OVRVISION（オーバービジョン）が届きました！ Ovrvision : Oculus Riftに装着するステレオカメラ Oculus Rift にマウントできる軽量、VGA、低レイテンシ、60 fps なステレオカメラです。いくつかのイベントで触らせて頂いていたのですが、完成度がとても高く、届くのを今か今かと待ち侘びていたのでとても嬉しいです。これで PS Eye x 2 でツライ思いをしながらやっていたことから解放されます（あちらは位置調整がすごい大変...）。 PS Eye 参考例 Oculus Rift + PS Eye × 2個でカメラ越しに実際の世界を覗いてみた - 凹みTips PS Eye × 2個 を Unity 上で Oculus SDK と共に使ってみた - 凹みTips Oculus Rift でミクさんに画面の中から出てきていただいた：解説 - 凹み

はじめに 仕事が立て込んでいて書くのが遅れてしまいましたが、8/23、24 でソフトピアジャパンで行われた Ogaki Mini Maker Faire 2014 (OMMF2014) に、レゴで出来た自由に組み替えられるステージにプロジェクションしてインタラクティブに遊べるゲーム Mont Blanc Pj.（もんぶらんぷろじぇくと）を出展してきました。 Ogaki Mini Maker Faire 2018 | 2018年12月1日・2日 岐阜県大垣市ソフトピアジャパンで開催します。様々な分野のつくり手「Maker」たちが全国から集まり、つくったものを見せ、語り、その楽しさを共有するイベントです。 http://www.montblancpj.com/ Mont Blanc Pj. は以下の３つのコンセプトを主軸において、友人の id:jonki と趣味で開発しているゲームです。 レゴ

はじめに 先日、以下のように PS Eye を 2 つ使用して、現実の世界を Oculus Rift 越しに覗くという内容のエントリを書きました。 Oculus Rift + PS Eye × 2個でカメラ越しに実際の世界を覗いてみた - 凹みTips ここから実際の世界に色々なものを重畳して行きたいと思っているのですが、WPF で 3D 周りをやっていくのはツラミがあります。そこで Unity を使いたいところですが、Unity で複数の PS Eye を使おうとすると、デバイスの名前が被ってしまうことから、WebCamTexture で 1 つのデバイスしか使えない問題に行きあたってしまいます。 そこで、先日用いた CL Eye Platform SDK を利用して、DLL から直接ピクセルデータをもらってテクスチャ化することで、同時に 2 つの PS Eye を使用することに試みてみ

はじめに IoT（Internet of Things: モノのインターネット）時代到来により、様々なセンサ・デバイスがインターネットに繋がるようになり始め、多種多様なガジェットが開発・販売されるようになってきました。 モノのインターネット - Wikipedia IoT Funding Guide | 2019 and Historic Timeline of Internet of Things Acquisitions and Venture Capital Investments 私はインターネットにつながる PC / スマホ以外のガジェットとして、WeMo Motion / WeMo Switch / Hue / Netatomo / Blink(1) / iRemocon / Future Home Controller / Pebble 等を保有しているので、これらを組み合わ

はじめに 先月、友人の結婚式の二次会でタイピング対決をしたいとの企画を、幹事の友人から受けました。面白かった要件としては、 二人の顔を 2 台のカメラで映したい タイピングしてる様子をリアルタイムで見たい というものです。これをサーバは Node.js で、クライアントはブラウザで作成しました。エントリ書いてもいいよ、と許可を頂いたので、今後似たような依頼を受けた方のご参考になるように、エッセンス部分をご紹介します。 （追記：2013/11/20） 幹事さんも記事を公開されました： http://tjun.org/blog/2013/11/wedding-typing/ やったこと ホスト PC 側で新郎新婦それぞれの PC からのログインを待ち受けします。イイ感じに○で切り抜いてくれるような PNG をイラレで作っておきました。 それぞれの PC からログインしてもらいます。 ログインし