今回からは、いよいよToucheセンサーを自作してタッチ検出に挑戦します。まずは、Toucheのセンサーのハードウェアを制作します。センサーが完成したら、水を入れたコップ、金属製の製品、植物など様々な物体でタッチ検出できるか試してみましょう。後半は、ソフトウェアを解析して、表示や表現の方法を変更するにはどう改造していけば良いのか考えていきます。 Toucheに必要な材料 ArduinoでToucheセンサーを自作するには以下の部品が必要となります。それぞれのパーツは、どれも入手は難しくないものです。今回はArduinoプロトシールドなどは使用せず、まずはブレッドボードで配線することにします。 Arduino Usbケーブル(ArduinoとPCを接続) ブレッドボード 抵抗器: 10KΩ, 1MΩ, 3.3KΩ コンデンサー: 100pf (絶縁型ラジアルリード型積層セラミックコンデンサー

openFramewrorks – addonを使う 2：reacTIVision + ofxTUIO でタンジブルなインタフェイスを作る reacTIVisionとは? 今日の授業では、reacTIVisionを使用してインタラクティブなアプリケーションを作成してみようと思います。 reacTIVisionとは、タンジブル(Tangible)なユーザインタフェイスを実現するための、オープンソースのツールキットです。タンジブルとは、形のない情報に直接触れることが出来るようなインターフェイスのことです。reacTIVisionは、このタンジブルな環境を実現するために、専用のマーカーを使用して複数のポイントの位置と角度を、素早く認識し解析することができます。 reacTIVisionを応用した有名な作品として、Reactableが挙げられます。Reactableは、テーブルの上に物理的にオブジ

今年の多摩美のopenFrameworksの授業(Media art II)では、プロジェクション・マッピングをとりあげていこうという方針になった。ところが、実は今まで知識としてはプロジェクション・マッピングについて知っていても、自分でゴリゴリとプログラムを書いてこなかった。主な理由としては、身近にプロジェクションしながら試す環境が無いというのが大きい。これではいかんということで、奮発して小型プロジェクターを購入してみた。 TwitterとFacebookでおすすめの小型プロジェクターを募ったところ、複数の方からQUMI Q5が良いという評判が寄せられた。それではということで、amazonで購入。あわせて、SLIKのミニ三脚も買ってみた。 数日で届いたので早速試してみたところ、期待していた以上に明るい。そして小さくて軽い。評判が良いだけあると実感。手元にあったNexus 7と大きさを比較し

待ちに待ったLeap Motionがようやく届いたので、ちょびっとだけ触ってみた。 インストールとセットアップはとにかく簡単。Leap Motionのセットアップページに行って、一式ダウンロードとインストールするだけで、すぐに動作する。デモアプリの完成度もなかなかのもの。ユーザーにストレスを感じさせない環境構築までのナビゲーションのスムーズさに唸らされる。 ひと通り遊んだところで、openFrameworksからLeap Motionを使ってみることに。そのものズバリなofxLeapMotionというアドオンが開発されているので、それをそのまま利用できる。ただし、いくつかバージョンがありいくつか試した中で下記のリポジトリのバージョンが問題なくビルドできて、Leap Motionからのメッセージも受信できた。 https://github.com/jasonrwalters/ofxLeapM

5月24日に開催された「TMUG presents チャネル＃５」、ご来場いただいた方、ありがとうございました!! ちょっとここ数回、VJやライブパフォーマンスがなかなか良い結果出せず反省していたのですが、今回は理想に近い出来で完全燃焼できました。今後も、どんな環境でもベストなものが出来るよう、さらに精進します… 主催のTMUG(Tokyo Max Users Group)からオフィシャル動画が公開されたので、こちらにも転載。Katsuhiro Chibaさん(http://audiooo.com/)のライブパフォーマンスは、ただひたすらカッコ良かった。Super DeluxeのPAも最高でした!! 今回も、映像は全てopenFrameworksで作成しました。その場で音に反応して生成された映像のみで構成されてます。使用したプログラムのソースコードはGithubで公開したので興味のある方は

openFrameworksは図形の描画のためのライブラリとしてOpenGLというプログラミングのインターフェイスを使用しています。OpenGLは2次元の図形だけでなく、3次元のグラフィクスを簡単に扱うことが可能です。今回は、openFrameworksの3Dグラフィックスの部分に注目して、様々な機能を実践します。 サンプルファイルのダウンロード (Google Docsにリンク) スライドを直接開く

今日の内容 サウンドファイルの再生「Buddha Machine」的なアプリを作ってみる サウンドの録音と再生を使用した音アプリに挑戦 録音した音のデータをインタラクティブに操作する サウンドファイルの再生 あらかじめ録音したサウンドファイルを再生するには、ofxOpenALSoundPlayerを使用する – 詳細は過去の授業資料「openFrameworks + iPhone マルチタッチイベントの取得、音アプリを作る」を参照 自分で作成した音ファイルと、画面に表示する画像さえあれば「Buddah machine」のようなアプリは作れてしまう サンプル1：サウンドファイルの再生 オリジナルな"Buddha Machine"的アプリを制作できる雛形 サウンドファイル(caf形式)と表示する画像を入れ替えれば、そのままアプリにできるテンプレートを以下に掲載 音ファイル(caf形式)は、「プ

6月10日のワークショップ、無事終了(※)しましたので、資料公開します!! openFramworks v0071対応です。 サンプルコード openFrameworks ver.0.071をインストールした、Mac OS X + Xcode、またはWindows + code::blocksでビルドと実行が可能です。 https://github.com/tado/openFrameworks_workshop12_day1_v0071 スライド資料 1：openFrameworks入門 2：構造をつくる 3：Addonの世界 ※追記　2012/6/13 今回のワークショップにおいて、windowsマシンで参加された方で、参加者の方のマシンの状況を把握することができなかったためにワークショップ中に環境構築を整えられず、受講が続行できないというトラブルがありました。こちらの対応が追い付かず

第８回：openFrameworks addonを利用する3：フェイストラッキング – ofxCv, ofxFaceTracker Addons紹介シリーズの3回目の今回は、最近ちょっとしたブームになっている、フェイストラッキングの技術を使っていろいろ実験していきます。フェイストラッキングとは、カメラから入力した映像の中から人間の顔を検知して、その傾きや大きさ、さらには目や鼻、口、眉といった顔のそれぞれのパーツの位置や大きさを立体的に検知することのできる、画像解析の技術です。この技術を利用して、顔の表情でプログラムをコントロールしたり、自分の顔に他人の顔を合成したりと様々な応用が可能となります。今回は、このフェイストラッキングに必要な環境設定とビルドの方法を解説した上で、その応用方法について考えていきます。 授業内で紹介した全てのサンプルプログラムは下記からダウンロードすることができます。

ニセコ滞在中のBlog強化月間として、まずは備忘録的なものから。 openFramewroksでiPhone / iPadアプリをつくるのは、Processing的な文法に馴染んでいる人であれば、とても敷居が低くすぐにグラフィクスやサウンドを駆使したアプリが作成できる。ただ、その一方で、機能的なGUIを作ろうとすると意外に面倒だったりする。利用する側にとっても、独自のユーザインタフェイスが導入されているのは、よほど上手にデザインされていないと、使い勝手の悪いものになってしまいがち。 実はopenFrameworksで作成したiOSアプリのプロジェクトには、iOSのGUIをそのまま利用することが可能となっている。インタラクティブなアニメーションやサウンドなどopenFrameworksが得意な部分はそのまま利用して、GUIパートはiOSのネイティブなSDKで作成するという分業をすることで、と

2011.04.24 : 第１回：Max/MSP入門 2011.05.10 : 第２回：Max/MSP – 様々な音響合成、サンプリング&プレイバック導入 2011.05.17 : 第３回：サンプリング・プレイバック、作品制作に向けて 2011.05.24 : 第４回：Maxuinoを使用して、Max/MSPとArduinoを連携する 2011.05.29 : 第５回：Jitterによる映像表現 多摩美術大学情報芸術コース 対象：2年 (選択必修) 前期・第1クォーター 月曜、3〜4限 206教室 Sound and Software Art Workshop 2011 (SSAW11) | Promote Your Page Too この授業について この授業では、ソフトウェアと自作デバイスを使用して自作の「楽器」を制作します。田所担当の月曜の回では、主にソフトウェアを用いた音響合成とサ

今回は、OpenCVという映像解析の技術を応用して、ライブ映像を用いたインタラクティブな表現に挑戦します。 「OpenCV」とは、「Open Computer Vision Library」の略で、オープンソースでコンピュータビジョンの技術を利用可能なライブラリです。米Intel社で開発され、画像処理・画像認識用のC/C++言語のライブラリとして配布されています。商用・非商用を問わず無料で使用することが可能です(BSDライセンス)。 OpenCVのコアとなる技術「コンピュータビジョン」とは、ひとことで言うと「ロボットの目」を作るという研究分野です。「コンピュータビジョン」の実現のために、画像のセンシングのためのハードウェアの研究から情報を認識するための人工知能の研究まで、広範囲な分野の研究が行われています。 OpenCVは、この「コンピュータビジョン」の研究の中でソフトウェアを用いて画像処

今日の内容 前回の授業では、canvas要素とJavascriptを連携して、図形やアニメーションを作成する方法について学びました。簡単とはいえ、実際にやってみると、なかなか難しい部分もあったと思います。 今回の授業は、より手軽な方法で、Webページにちょっとしたアニメーションを追加したり、タブナビゲーションやオートスクロールなど気の効いたインタラクションを追加する方法として、jQueryというJavaScriptライブラリを紹介したいと思います。 jQueryの特徴 jQueryは、JavaScriptとHTMLの相互作用を強化する軽量なJavaScriptライブラリです。フリーなオープンソースプロジェクトとして公開されているので、誰でも自由にライブラリを利用することが可能となっています。現在では、マイクロソフトやノキアなど大手デベロッパーにも採用され、今後ますます注目が集りそうなライブ

HTML 5 + Javascriptで作る動的なコンテンツ 前回の授業では、HTML 5について、その成り立ちや特徴を解説した上で、新しい構造化のための要素について解説しました。また、あわせてCSS3によって格段に進歩した表現力について実際にサンプルページを作りながら解説しました。 今までは、Webページで動的に図や画像やアニメーションを描画するにはFlashが代表的な選択肢でした。しかし、ここ数年でその状況が大きく動きつつあります。Flashに代表されるような動的なコンテンツが、専用のプラグイン無しに、HTMLの要素とそれと連携するスクリプトだけで実現できるようになりつつあるのです。こうした技術は、今後のWebの動向を大きく変える可能性を秘めた技術として脚光を浴びています。 HTML 5で動的に画像やアニメーションを生成するためには、canvas要素という新規に導入された要素と、can

今回は、ネットワークを使用したopenFrameworks同士の連携と、openFrameworksと他のアプリケーションとの連携について取り上げます。openFrameworksでネットワークを利用す方法はいくつかありますが、今回はその中で比較的扱い易いプロトコルである、Open Sound Control (OSC) についてとりあげたいと思います。 Open Sound Control (OSC)とは Open Sound Controlは、カリフォルニア大学バークレー校にある CNMAT（The Center for New Music and Audio Technologies）が開発した、通信プロトコルです。その特徴について、CNMATのページではOSCについて下記のように要約されています。 Open Sound Control (OSC) is a protocol for

オブジェクトの生成とメモリ openFrameworksの入門の授業の際に、変数を定義するということは、値を入れる「箱」のようなものを用意することだと説明しました。また、前回の授業では、オブジェクトを実体化するにはまずクラスをインスタンス化する必要があるという説明をしました。 実はクラスのインスタンス化と、変数の宣言は本質的には同じことをしています。それは、「値や動作を表現するための記憶域を確保する」ということです。int型やfloat型などの宣言に関しても、型からオブジェクトを生成しています。 コンピュータの中では、個々の箱は独立して存在するのではなく、コンピュータに内蔵された広大な記憶領域の中の一部分を使用しています。多くのオブジェクトがこの記憶域を共有して雑居しています。そのため、個々のオブジェクトの格納されている「場所」を表す必要が出てきます。コンピュータではこのオブジェクトが格納

オブジェクト指向プログラミングとopenFrameworks オブジェクト指向プログラミング(OOP)とは相互にメッセージを送りあうオブジェクトの集まりとしてプログラムを構成するプログラミングの技法です。現在使用されているプログラミング言語の多くは、OOPのパラダイムをベースに設計されていて、現在主流のプログラミングの手法と言えるでしょう。オブジェクト指向プログラミング言語を列挙してみると、Smalltalk、C++、Objective-C、Python、Ruby、Perl(5.0以降)、Java、JavaScript、C#など数多くの言語があげられます。 openFrameworksはC++をベースにしたフレームワークです。ですので、openFrameworksもオブジェクト指向のプログラミング言語です。OOPの利点を最大限に利用することで、より効率的に強力なプログラムをしていくことが可

Bio Media Art 概要 生物と人間の新しいインタラクションの可能性 ボタンやスイッチなどの無機的なものだけなく、植物、動物、人間などの生体やそこからの情報を利用する有機的なインタラクションの可能性を探る。 生体情報を美しくみせる 生体のさまざまな情報や、様々な刺激に対する反応を可視化、可聴化することで、新たな植物(生命)の美や映像音響表現を探求する。 「可視化 (= Visualization)」とは 可視化 = Visualization 人間が直接「見る」ことのできない現象や事象、あるいは関係性を、「見る」ことのできるものにすること 見ることのできるもの → 画像、映像、グラフ、図、表など 視覚化意外の方法 可聴化 – 音によって聴くことができるようにする 可触化 – 触れることによって表現する 参考書：「ビジュアライジングデータ」 ビジュアライジング・データ ―Proces

今日の内容 Arduinoからのデータを、Procssingを使用して「可聴化」する データを音に変換する方法 – Processing minimライブラリについて サウンドの生成 サウンドファイルを再生 可変抵抗の値でサウンドをコントロール 植物にとりつけたタッチセンサーで、音を鳴らす – 「植物シンセ」簡易版 Minimライブラリについて Minimライブラリ – Processingで音を扱うためのライブラリ、Java Sound APIを使用している 音に関する様々な機能が利用できる サウンドの再生 – WAV, AIFF, AU, SND, MP3形式のサウンドファイルを読み込んで再生する 録音：入力された音を、ディスクに直接、またはメモリー上のバッファーに録音可能 オーディオ入力：モノラル、ステレオのオーディオ入力の値を取得 オーディオ出力：モノラル、ステレオでサウンドを出力