【Gemini】GPU不要！超軽量TTSとLLMを使ったチャットWebサービスの構築 ～ UTAU収録音声を用いたTTS ～
はじめに エイプリルフールネタとして、「蒼月ハヤテ」という歌声合成音声ツール用の素材キャラクターを作りました。 その際に配布サイトも自作したのですが、折角キャラクターと歌声生成用の自分の声データがあったので、それらを組み合わせてLLM=>TTS(text-to-speech)を繋げたら、まるで自分のクローンが喋っているようになると思ったので、隠し機能としてTTSでのお試しと会話機能をWebに展開しました。 今回は備忘も込めて、各種技術の紹介をしようと思います。 できあがりイメージ ざっくり使用技術 Typescript arwes (frontend design) Next.js Gemini API (LLM) tone.js (sound) render.com (deploy) upstash (security) 要件の整理と技術選定 元々は「UTAU」という合成音声用の素材配布
Aivis Project | AivisSpeech でかんたんに感情豊かな音声合成、使ってみませんか？
声に革命を。Aivis Project が切り拓く、感動の音声体験。 Aivis Project は、感情豊かな音声合成技術を誰もがかんたんに活用できる未来を目指す、 壮大な開発プロジェクトです。 機械的な響きに留まらない、まるで魂を宿したかのような音声が、あなたの想いや言葉に豊かな感情をのせて 世界へと響き渡る。Aivis Project が描く未来は、これまでにない感動と驚きに満ちています。 好きなキャラクターの声で物語を紡ぎ、理想の声でニュース記事に命を吹き込む。 そうした新しい表現が、私たちのプロダクトを通じて数クリックで実現します。 AivisSpeech でのローカル音声合成から、モデルの制作・ミックス・公開まで、Aivis Project は 誰もが自由に好きな声を共有できる未来を形にしていきます。 これまで一部の才能や特別な環境だけが手にできていた魅力的な声を、各々のアイデ
自分の歌声を元に簡単にAI歌声データベースの作成も可能。海外からやってきた歌声合成ソフト、ACE Studioがスゴ過ぎる！｜DTMステーション
VOCALOID、Synthesizer V、CeVIO AI、VoiSonaなどさまざまなAI歌声合成ソフトが競い合いながらここ数年で飛躍的な発展を続けていますが、ここにトンでもない威力を持つ高性能なAI歌声ソフトがやってきました。アメリカ・中国・フランスなど国のメンバーが集まるテクノロジー・ベンチャー企業、TIMEDOMAINが開発するACE Studioという、Windows/Mac用のソフトです。完全に日本語対応したソフトであるとともに、日本語の歌声データベースも多数備えており、生成された歌声は日本人の人間が歌っているものと聴き分けられないレベルのものになっています。 ただ、既存のAI歌声合成ソフトと大きく異なることが3つあります。まずは年額24,000円または月額3,500円というサブスク料金を支払うと、現在44種類ある歌声データベースすべてが利用できるという点。2つ目は歌をレコ
超低遅延AIボイスチェンジャーが開く世界
Parakeet株式会社でResearcherをしている金子(nadare)です。CPUで動く軽量AIボイスチェンジャーParavoの研究開発をしております。 本記事ではParavoのアピールポイントである0.06秒の遅延へのこだわりとそれを実現するための技術について解説したいと思います。 ボイスチェンジャーの歴史 従来型ボイスチェンジャー 従来のボイスチェンジャーは主にピッチ(声の高低)やフォルマント(声道の性質)を変え、それに様々なエフェクトをかけることで音声の変換を行っていました。これの実現にはハードウェアを使う方法、ソフトウェアを使う方法など様々ありますが、声に関する専門知識と入力する声を人力で調整するテクニックが必要でした。 疑似リアルタイムAIボイスチェンジャー 近年ではAI技術の発達により、ピッチやフォルマントを信号処理的に変えるのではなく、ディープラーニングの力によって特定
AIラジオ『zenncast』の技術構成（プロンプトつき）
先日、個人開発していたzenncastというWebサービスをリリースしました。 Zennでトレンドになっている記事を、毎日AIが10分のラジオにして届けてくれるというサービスです。 ありがたいことに公開後はたくさんの方に試してもらえ、技術的な質問も多数いただきました。 このZennではzenncastの技術構成や仕組みを紹介します（プロンプトつき）。 作ったもの まずはエピソードを一つ選んで1分くらい聴いてみてください！ AIラジオの雰囲気が掴めると思います。 追記 zenncastのような番組を、誰でも好きな情報ソースで作れるサービスを作りました！ 自分のメディアやブログをラジオに変換して、それをサイトに埋め込んだりSpotifyなどに配信できたりします👇 主な機能・特徴 毎朝10分のラジオを生成 Zennでトレンドになっている記事を要約して紹介 お便りを投稿すると、翌日のエピソードで
ChatVRMでVOICEBOXを使う方法｜Masayuki Abe
ダウンロードするだけじゃなく、起動させておいてください。 nike-ChatVRMをダウンロードして準備します。 git clone https://github.com/tegnike/nike-ChatVRM.git cd nike-ChatVRM npm install npm run devhttp://localhost:3000をブラウザで開きます。 OpenAI APIキーを入力して、閉じる(CLOSE)をクリックします。 初期画面 VOICEBOXを使うために、左上の歯車をクリックします。 設定画面合成音声エンジンの生成で、VOICEVOXを使用する(Japanese Only)を選択します。次に、声の調整で、ボイスタイプ選択で選択したい声を選択します。 会話をします。 会話画面会話したいことを入力してEnterをクリックすると、回答が出てきます。それに続いて音声で回答され
10秒の歌声を学習し、リアルタイムにその声になれるAIシステム、VocoflexをSynthesizer VのDreamtonicsが発表
学習した人の歌声にリアルタイムに変換できるVocoflex 本日4月16日、緊急生配信ということでDTMステーションPlus!の番組において、このVocoflexについて紹介しましたが、これでどんなことができるのか、以下のビデオを見ると、その概要はすぐにつかめると思います。 簡単に説明すると、このVocoflexはWindows、Macの環境においてスタンドアロンでもプラグインとしても動作するソフトです。Vocoflexを利用するには、まず、ターゲットとなる人の歌声を10秒程度録音します。これはマイクから直接録音してもいいですし、すでにあるWAVやAIFF、FLACやMP3…などの歌声のオーディオデータを読み込む形でもOKです。 読み込むと即、学習、分析され、複数の点でつながった線が画面上に表示されます。この線のどこかをマウスで指定した上で、マイクから歌うと、自分の歌声が、学習した人の歌声
AI歌声ライブラリ「LAUGH DiAMOND (ラフダイヤモンド)」プロジェクト始動！
ひょんな事から、とある芸能事務所に入ることになり、 篁 響季、風祭 朝陽、小紫 桃果、山田 花音らは ユニット「LAUGH DiAMOND」を結成することになったが、デビューどころか、自分たちの曲も用意してもらえず目下日々自主練（≒放置）状態の憂き目に遭っている。 あまりにも放置されているため、自分たちで路上ライブを試みるが…。 そしていつの日か、ライブハウスでたくさんの曲で ライブをやることが LAUGH DiAMOND の目標に… そんな彼女たちに、 あなたの曲を歌わせてあげてくれませんか？ 「LAUGH DiAMOND」プロジェクトとは？ 最新のディープラーニング技術を駆使したAI歌声ライブラリでもあり、 「篁 響季（たかむら・ひびき）」「風祭 朝陽（かざまつり・あさひ）」 「小紫 桃果（こむらさき・ももか）」「山田 花音（やまだ・かのん）」 で結成された夢見るシンガーユニット「LA
index.html
N Air ライセンス契約書 このN Airライセンス契約書（以下「本契約」といいます）は、株式会社ドワンゴ（以下「当社」といいます）が無償で公開する動画配信用のソフトウェア（以下「N Air」といいます）の利用条件を規定したものです。N Airを利用しようとする人は、N Airを利用する前に、必ず本契約の内容を確認してご同意いただく必要があります。利用者が未成年の場合には、法定代理人（親権者等）に本契約を確認して頂き、事前に法定代理人（親権者等）の同意を得たうえでN Airをご利用ください。また、法人がN Airを利用する場合には、法人を代表して同意する権限のある人が本契約の内容に同意する必要があります。当社は、利用者（利用者が法人の場合には利用者の役員または従業員を意味します。以下同じ）がN Airを利用したことをもって本契約に同意したものとみなします。 なお、本契約は、当社の任意の判
［GDC 2024］フィクションの世界の言語を“らしく”音声化するためのアイデアとは。スクウェア・エニックスの音声合成技術セッションをレポート
［GDC 2024］フィクションの世界の言語を“らしく”音声化するためのアイデアとは。スクウェア・エニックスの音声合成技術セッションをレポート 編集部：Junpoco 北米時間の2023年3月18日に開幕したゲーム開発者カンファレンス「Game Developers Conference 2024」（GDC 2024）より，スクウェア・エニックスの技術セッション「Machine Learning Summit: Fictional Speech Synthesis to Avoid the Risk in Generative Contents」のレポートをお届けしよう。 ゲームのようにインタラクティブな体験が重要なデジタルコンテンツの制作において，ユーザー入力に柔軟に対応できる音声合成技術（text-to-speech technology）は有効な選択肢の一つである。 この音声合成技術
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
VOICEVOXでVRMを喋らせるライブラリの紹介 | ドクセル
GitHub - TORISOUP/VoicevoxClientSharp
Japanese Parler-TTS - a 2121-8 Collection
にじボイス | AIによる感情豊かな音声生成サービス
「Audacity」無料の音声編集ソフト - 窓の杜
zenncast - 技術トレンドをAIがラジオに変換
GitHub - uthree/auris: AI based singing voice synthesis
AI音声合成ソフト「VoiSona Talk」が正式公開 ～女性ボイス「田中傘」とともに無償提供／同社のAI歌唱ソフト「VoiSona」をベースにした読み上げツール
GitHub - Vaibhavs10/open-tts-tracker
litagin/moe-speech · Datasets at Hugging Face
