A.I.VOICE for Gamesを使ってUnityエディタ内でカットシーンの仮当てボイス生成を半自動化 - Qiita
この記事はUnity Advent Calendar 2023の22日目 の記事です。 Unityゲーム開発におけるカットシーン制作での音声の尺を仮音声で確認したい A.I.VOICE for Gamesアンバサダーの一條です。 Timelineを使ってカットシーン制作を行っている際、セリフがどのくらいで終わりそうか仮の音声を用意してアタリをつける場面を考えます。 ・カメラ切替や演出のタイミングをどうすべきか？セリフを言った後にアニメーション、カメラ切替、エフェクトを切り替えたい ・ボイスありの場合、声優さんの収録がおわらないと長さが決めづらい。実際のボイスデータがどれくらいの長さになる？ といったことを考えています。 合成音声ツールを使って、カットシーンの尺を調整するための仮音声があるといいのですが、自分で用意するのは面倒です。特に、セリフデータが大量にある場合はテキストから変換データを
[UPDATE]Unityエディターに合成音声作成ウィンドウを追加する拡張をエーアイが提供。非営利目的なら「ユニティちゃん」音声が無償利用可能
本日、ゲーム開発環境向け音声合成エディター拡張「A.I.VOICE for GAMES」をリリースしました。 ゲーム開発環境上で簡単に、音声の一括作成/変更/修正などを行う事ができ、ゲーム開発時の音声管理を改善します！https://t.co/BfQca5CwNV#アイボス #AIVOICE pic.twitter.com/VYYBffZJAB — A.I.VOICE公式 (@AIVOICE_PR) August 4, 2023 株式会社エーアイは、Unity向けのエディタ拡張として「A.I VOICE for GAMES」を発表しました。Unityエディター上に合成音声を作成できるウィンドウを追加し、テキストからすぐにセリフのwaveファイルを作成、プロジェクトで利用することができます。 https://www.ai-j.jp/topics/8942/ 「A.I VOICE for GA
![[UPDATE]Unityエディターに合成音声作成ウィンドウを追加する拡張をエーアイが提供。非営利目的なら「ユニティちゃん」音声が無償利用可能](https://cdn-ak-scissors.b.st-hatena.com/image/square/09cb54debf681661d9554d2bfb8f49f591f187e2/height=288;version=1;width=512/https%3A%2F%2Findiegamesjp.dev%2Fwp-content%2Fuploads%2F2023%2F07%2FAIVOICEFORGAMESBANNER.jpg)
ChatGPTとUnityでキャラクター対話システムを構築した - Qiita
はじめに お気に入りキャラクターとおしゃべりできるものを作りました。 このようなシステムは他の人がTwitterでも作っていて二番煎じなのですがどんなものを組み合わせて作ってるのかだったりを書こうと思います。 使用技術など デバイス Looking Glass Portrait 裸眼立体視ディスプレイです。(公式サイト) このディスプレイがなくても対話システムは作れます。でも裸眼立体視ってロマンがあって、女の子をいろんな方向から見れるのは嬉しいですよね！ アセットなど DynamicBone 髪の毛や胸が揺れるアセットです。(アセットストアページ) 髪の毛が揺れるのは嬉しいことなので使います。 OVRLipsync Oculusが作ったオーディオデータから口パクを作るアセットです。(公式サイト) 対話するのに口が動かないのは致命的なので使います。 DictationRecognizer 音
おはなし無限読み上げアプリ「ずんだテラー」の開発ポイント解説 - Qiita
先日、おはなしを自動で生成して読み上げるアプリ「ずんだテラー」を作ってみたので、その開発ポイントについて解説します。主にOpenAI APIとVOICEVOXの機能を利用しています。 ずんだテラー（ずんテラ） ずんだテラーは、東北応援キャラクター東北ずん子の関連キャラクターであるずんだもんが、その場で生成された様々な「おはなし」を読み上げてくれるアプリケーションです。 以下のリポジトリでソースコードとビルド済みPC/Androidアプリを公開しています。Unityプロジェクトです。 以下のような「おはなし」を作れます。 なぜ作った？ 大きなモチベーションとしては以下でした。 OpenAI APIを使って何か作りたかった 荒唐無稽なストーリーをAIに考えてもらうのが結構面白い ずんだもんがかわいい、しゃべらせたい 今回はGenerative AIを利用したシステムを作る際の勘所のようなものを
Unityに最適化した音声デコードライブラリを自作する上で工夫したこと - Activ8 Tech Blog
こんにちは、エンジニアリングマネージャーの渡辺（@mochi_neko_7）です。 今回はUnityで音声データをランタイムでデコード/エンコードするライブラリを作った話を紹介します。 先日、OpenAIのChatGPTやWhisperをWebAPIで利用できるようにする話を記事で紹介しました。 synamon.hatenablog.com この延長として、ChatGPTで生成した会話をVOICEVOXやCOEIROINK、Koeiromapなどの音声合成サービスに渡して音声化をしていました。 こういったUnityの外側との音声データのやり取りをする際には、どうしてもランタイムでの音声データの変換処理をする必要が出てきます。 その際に手軽に利用できるライブラリを趣味で開発しました。 github.com こちらの紹介を簡単にしつつ、Unityにおける実装の工夫や使用リソースの最適化などのポ
【Unity】音声データからピッチ推定を行う - Qiita
はじめに 本記事はAdvent Calendar 2022の18日目の記事です。 音声データを扱うための前提知識 本記事は、Unityに関するものではあるが、「音声データ」というある程度ゲーム開発では馴染みのないものを扱うので、いくらか必要な知識が出てきます。 ここでは、厳密性にはあまり捉われず、理解しやすい形で広く浅くこれらを説明していきます。 すでに知っている方や、Unityでの実装部だけ知りたい方は、読み飛ばしちゃってください。 音声信号とは 音が空気の振動であることをご存知の方は多いと思います。音を電気信号に変換する装置がマイクです。マイクによって、その瞬間の音の振動の強度が電圧に変換されます。この電圧は時間によって変化するので、言い換えると、音声の信号は、時間と振幅（電圧）の2変数によって表される関数になります。一般に時間を横軸として、振幅（電圧）を縦軸として次のようなグラフで書
Unity の WebGL で動的にサウンドを生成・再生する方法を調べてみた - 凹みTips
はじめに 通常、Unity で動的にサウンドを生成したいときは、AudioClip の Create で PCMReaderCallback を渡すか、MonoBehaviour の OnAudioFilterRead 中でバッファをセットすることで可能です。 docs.unity3d.com docs.unity3d.com かなり古い記事ですが、以前解説も書きました（一部有料機能と述べているところは現状はすべて無料です） tips.hecomi.com AudioClip に SetData して再生することも出来ますが、初期化時ではなく毎フレームデータを与えたい場合はこれは利用できません。正確にはセットして再生はできるのですが、サウンドの読み取り・再生自体はサウンドのスレッドで行われているため、Update などのメインスレッドから与えるとうまく再生されない（途切れたりする）からです
Unity でリアルタイムにリップシンクを行うプラグインを更に作り直してみた - 凹みTips
はじめに 前回、リップシンクするプラグインを作り直してみた記事を書きました。 tips.hecomi.com 色々とご反響を頂いたのですが、しかしながら母音推定の性能がいまいちでした。第 1 、第 2 フォルマントという周波数スペクトルの 1 つ目、2 つ目のピークを検出する方法を採用していたのですが、このピークの検出が周波数スペクトル包絡を得るために使っている LPC 解析のパラメタに大きく依存したり、またノイズや声の高さによって容易にピークが別の場所に移ってしまったりといったことが原因でした。 そこで手法を変え、MFCC（メル周波数ケプストラム係数）を求める方式へと変更しました。 speechresearch.fiw-web.net これはディープラーニング以前の音声認識に使われていたもののようで、母音だけでなく子音も含む音素の検出が可能な特徴量になります。以前の手法と異なりピッチ変化
口パターン作成ミドルウェアClipper - CRIWARE for Games
Clipperは時系列に変化する口パターン（口の形状）を自動的にデータ化するミドルウェアです。 音声に同期した自然な会話のリップシンクアニメーションを表示することができます。 １．自然な口パターンを自動生成 ボリュームレベルやランダム変化による口の開閉ではなく、音声解析によって発音に合った口パターンを「ア・イ・ウ・エ・オ」の形で表現します。 実際の口の動きを考慮した独自の解析技術により、自然な口パターンデータを出力します。
UnityBoyomichanClient Unityから棒読みちゃんを操作するライブラリ - Qiita
Unityから棒読みちゃんを操作するライブラリを作ったので公開します。 UnityBoyomichanClient MITライセンスです。 できること テキスト読み上げ 一時停止 一時停止解除 読み上げスキップ 残りタスク全消去 一時停止状態の取得 残タスク取得 読み上げ状態取得 使い方 Taskベースなため、.NET 4.xモード以降が利用可能なUnityでのみ動作します。 private async Task SpeechSample() { // クライアント初期化 var _boyomiClient = new BoyomichanClient("127.0.0.1", 50001); await _boyomiClient.TalkAsync( message: "これはサンプルです", speed: -1, // -1で棒読みちゃん側の設定 volume: -1,// -1で棒
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - mikito/unity-voicevox-bridge