はてなブックマーク

はじめに 前回の記事「ChatGPTの絵から3Dモデルの部品を大量生成する。」、沢山ご覧いただき有難うございました。 あの記事では触れなかったんですが、既存のimage to meshはアイテムの生成には強くても、「カフェの内部の建物部分」のような空間の生成は苦手なんですよね。だから、あの記事では「部品の生成」しか行ってないわけです。 そこで、やや姑息的な解決策として、AIに「箱庭」の画像を生成させ、それの壁や床部分だけを取り出し、それを3Dモデルにする方法を考えてみました。いろいろなアイテムを置くときの簡易的な背景として使えると思います。 「箱庭」画像の生成 ここでいう箱庭画像とは、例えば以下のようなものです。ChatGPTで生成しています。 空間を斜め上から見ており、外周の輪郭は正六角形に近いです。これはisometric projectionと言われる投影方法で、ゲームなどでもおなじ

というようなプロンプトを与えて、画像を作ります。ここで重要なのが"アイソメトリック プロジェクション"というキーワードです。これを入れることで、なるべく遠近のない画像にします。ちなみに、オブジェクトが多すぎるのも後の作業が大変なので気をつけましょう。 以下の作業では、ChatGPTで実際に生成したこちらの画像を使います。 この画像に対して、さらにChatGPTで という指示を出します。すると、以下のように絵の中の「部品」をバラバラにして、一枚の絵にまとめてくれます。 部品同士が重なってしまうなら、「お互いが重ならないよう、アイテムとアイテムの間には空白を確保してください。」など、プロンプトを追加しましょう。大きいアイテムがあると重なりやすいので、それは別に出力しても良いでしょう。 本当なら、ここで部品ごとの画像にしてくれれば良いのですが、ChatGPTは一度に1枚しか画像を出せないので、部

はじめに 日本語OCR, 有料の業務用ソフトには色々と高性能なものがあるんですが、無料の場合の選択肢は意外に限られてます。最近ではGeminiなどにOCRさせることも試みてますが、縦書きに弱いのが欠点。加えて、私がやっているような著作権が切れた戦前の本のデジタル化の場合、認識率の低い旧字体が多いのが悩みの種。 そこで最近知ったのが、国立国会図書館が公開しているOCRライブラリ、NDLOCRです。国会図書館のデジタル資料（国立国会図書館デジタルコレクション)から全文テキストデータを作成するために開発されたとのこと。 NDLOCRは、現在ver2.1がGithubに公開されています。古い本が多い国会図書館の資料向けに作られているだけあって、旧字体でも高い精度で認識してくれます。今回は、このライブラリを試してみました。基本、Githubサイトに書いてある通りなんですが、いくつか注意すべき点をメモ

はじめに こちらは、「Unity アセット真夏のアドベントカレンダー 2017」の8/25日分の記事です。 前から、学研さんのワールドアイという球面（厳密には半球）ディスプレイに興味があったのですが、微妙に値段が高くて手が出ず。ところが、最近MIROさんにお勧めいただいたので値段をもう一度確認したら、Amazonでは1万円以下で売られていることが分かりまして、盆休みで少し時間があるし、触ってみることにしました。 ワールドアイの基本的な使い方 ワールドアイは、写真の通り、後ろにあるプロジェクターから前の半球に画像を投影します。付属のデモの地球儀（世界地図）上の経線から推測するに、だいたい160度の視野角があるようです。半球よりちょっと狭いようです。 ワールドアイに画像を表示させるには、USBに画像を保存するか、HMDI（HDMIケーブルミニを別途購入）でPC上の画像を表示させるか、のどちらか

はじめに こんにちは、やのせん(@yanosen_jp)と申します。 普段は、教育用のアプリを作っており、F#は初心者です。以前にUnity で F#を使う 導入編 メモというのを書いたのですが、それから一年ほどたち、補足したい事も出来たので、アップデートとしてちょっと書いてみることにしました。 #Unity Unityというと、F#界隈の皆さんはDependency Injection用のコンテナを想像されるかもしれませんが、そちらの方ではなく、いわゆるゲームエンジンの方です。Unity（ホームページ）を使うことで、PC、スマホ、コンソールなど、幅広いプラットフォームでゲームやアプリを制作することが可能です。最近では、VR（バーチャルリアリティ）アプリの開発環境としても注目されています。 #UnityでのF#使用環境 UnityはMono 2.6を使用しているため、.NET Framew

参考文献 Tutorial: Using F# with Unity3D Unityのマネージド プラグインに関するマニュアル 初心者がF#をUnityで使ってみた！ はじめに どうしてもUnityで機械学習をしてみたいので、F#を始めました。完全に初心者なので、一部勘違いがあるかもしれません。お気づきの点がございましたら、コメントか Twitterで @yanosen_jp にご指摘ください。 プロジェクトのセットアップ まず Unityプロジェクトを作る。 次に、Visual Studioの立ち上げ (Unityインストール時に入れる、Community Editionでよい） File -> New -> Project Visual F#のテンプレートを探す。まだインストールされてなければ、指示に従ってインストールする。インストールが完了したら、Libraryを選択する。 ライブラ

はじめにお詫び 当初の予定では、Audio SDKについて書こうと思っていたのですが、私（正確には私の嫁さん）の仕事の関係で、データサイエンスというか、人工知能というか、その辺りのことを勉強することになったので、Riftでもその辺をやってみようと思い、テーマ変更しました。Audio SDKのことは、また別の機会に書くのでお許しください、、、。 データサイエンスって データサイエンスは、データから何らかの知識や知見を得るための方法を考える学問分野だそうです（Wikipedia）。個人的には データの可視化（直感的にわかるようにする）　（参考資料） データの分析（傾向を読みとるとか、そこから予測を立てるとか） が重要なのかな、と考えています。VRと関連付けるとすると、 VRの視点の自由さを生かして、複雑なデータを見やすくする。Touchを使ってデーターを「触れる」ようにする。 Riftを使って

#はじめに Unityでは、標準機能で重力や光などの物理現象はシミュレートできますが、磁力のシミュレートは出来ません。それを可能にする無料アセットがMagnetodynamicsです。 作者の方は物理がご専門のようで、マニュアルにもかなり本格的な説明があります。ただ、残念ながら大分古いアセットなので、現行のUnityで使おうとすると一部のシーンでは修正が必要ですが、そのままでも遊べるシーンもあるので、簡単に紹介します。 BallMagnetsTutorialで遊んでみる とりあえず、一番シンプルなボール型磁石のチュートリアルを見てみましょう。アセットをインポートして(その際、API Updateをするよう指示が出るので、それに従ってください）、BallMagnetsTutorialシーンを開いてください。 そうすると、下のようなNS極のあるボール型磁石が出てきて、それをマウスで移動できます

Final IKとは Final IKはUnityでIK(Inverse kinematics:逆運動学）を行うための有料Aseetです。 デモシーンを勉強したのでメモをまとめました。 Aim IK デモシーンでお勉強 Aim IKコンポーネント 今回は、AimIKのAim Weaponシーンで勉強。実行すると、こういう感じです。銃の先がボールを向きます。 このシーンのAimIKのコンポーネントは以下の通り TargetとAim Transform Aim IKコンポーネントでは、まずTargetとAim Transformを設定します。 "Target"は向けさせたい目標。このシーンではボールです。 "Aim Transform" は、目標に向けさせたいもののTransformです。このシーンでは銃です。銃そのもののTransformが的に向けるときの軸の上に来ない時もあるので、その際は

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに [Obi - Advanced Rope Simulation](Obi - Advanced Rope Simulation) は2016年に発売された、紐のような構造を物理演算するための有料Unityアセット($30)です。 同じようなアセットはすでにアセットストアに幾つかあります（Ultimate Rope Editorなど）が、このアセットは紐と他のゲームオブジェクトとの衝突や変形時の力学計算がより正確で、他のアセットでは難しい滑車のような複雑な構造も作ることが可能です。 Obiは物理演算に（他のアセットではしばしば用

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに Unityで、バネを使ったミニゲームっぽいものを学生さんと作りたいので、その基礎となるSpring Jointの勉強をしてます。このトピック、日本語のサイトで詳細な説明のあるものが少ないので、自分でまとめてみました。私自身、それほど良く理解してないので、間違いがあるかもしれません。何かありましたら、ご指摘頂ければ嬉しいです。 Spring Jointの設定の仕方 とりあえず、Cubeを上下に二つ作る。 上のCubeのPositionは(0,0,0)、下のCubeのPositionは(0,-5,0)に設定する。 どちらのCube

>>> import tensorflow as tf >>> filename_queue = tf.train.string_input_producer(["/tensorflow_dev/csvTest.csv"]) >>> reader = tf.TextLineReader() >>> key, value = reader.read(filename_queue) >>> sess = tf.Session() >>> tf.train.start_queue_runners(sess) >>> sess.run(value) '0,1,2,3,4,5' >>> sess.run(key) '/tensorflow_dev/csvTest.csv:2' >>> sess.run(value) '0,1,2,3,4,5' >>> sess.run(value) '10,20,3

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 1/13にGoogle Cardboard SDK for Unityが0.6になりました。大きな変更は3Dオーディオ Spatial Audio（公式ブログ)ですが、ほかにもVR用の視線マーカーが変更になってますね。VRアプリでよく見られるような、「近くのオブジェクトに視線マーカーをあわせると、マーカーが近くに寄って大きくなる」という動作がスムーズになっています。 そこで、この辺の新しい使い方をわかる範囲で整理してみます。新しい情報が入ったら、適宜アップデートするつもりです。 追記：以下、３Dオーディオについて、GVR Un

はじめに TensorFlowは、「データフローグラフ」という形で計算を表現し、機械学習をプログラミングします。この形式は、大規模な並列計算を行うのに有用とされています(参考記事)が、スクリプトを上から下に読んで計算を行う普通のプログラミング言語とは考え方が異なるので、はじめは少しとっくきづらさがあります。 そこで、この記事では、TensorFlowのプログラミングで必要になる3つのキーコンセプト Opノード セッション 変数 について簡単に説明します。 データフローグラフとOpノード 「データフローグラフ」はノードといわれる計算ブロックのようなものをエッジといわれる線で繋げたもので、データはノードからノードへ、エッジのつながり方に従って受け渡され、計算が行われます。 似たようなプログラミング手法は、SIMULINKやUnreal Engine4のBlueprintでも見られますね。 Te

はじめに TensorFlowは、機械学習用のアルゴリズムを記述するためのインターフェースで、大規模システムからスマホまで、幅広い環境で使えるのが利点のようです。 Qiitaでもかなり話題になっており、現時点ですでに100以上の投稿があります。そのため、もう特に書くことはないのかなーと思ってましたが、Mac + Dockerの環境でインストールする例が見当たらなかったので、そちらのメモを書いておくことにしました。TensorFlowの基本的な解説を知りたい方は、こちらの記事を御覧ください。 Dockerを使った理由 今まで使ったことがなかったので面白そう、というのが主な理由ですが、MacでTensorFlowを使う場合は、Dockerでインストールするのが簡単だよ、とこちらの記事に書いてあったせいもあります。Windowsの場合も、Dockerを使うのが一番楽、とこちらの方で言われてます。

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Oculus Audio SDKは、Unityなどで３Dオーディオを作れる便利なツールです。Oculus用でないアプリでも使えて、しかも無料！ありがたいですね。 このAudio SDKはVisiSonicsという３Dオーディオの専門会社の技術を活用しています。 VisiSonicsとOculusの提携 http://www.prnewswire.com/news-releases/visisonics-realspace-3d-audio-software-licensed-by-oculus-for-virtual-reality-2

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? きっかけ どうも、やのせん@yanosen_jpです。私は職場(大学）の社会貢献活動の一環としてデジタル教育の普及活動をしており、小学生向けに算数や英語の学習アプリを作って、イベントで公開してきました。 写真のように、いままではiPad用アプリを作っていたのですが、スマホが普及してきてインパクトが薄れてきたので、最近はハコスコを使ったVR英語学習アプリも作ってます。 VRで英語の教材を作るなら、なるべくリアルな「そこにいる」の雰囲気のあるシーンを作りたいのですが、私と学生さんの技術力ではなかなかむずかしく、、。そこでTHETA Sで撮っ