2年ほど前に、自分の声を結月ゆかりにする声質変換技術を作り、動画を投稿しました。この技術には利用者の音声データが大量に必要であるという欠点があり、ゆかりさんになりたいというみなさんの願いを叶えるのが難しい状態でした。そこで、この技術を利用者の音声データが不要になるように改良し、誰でも簡単に使えるようにしました。ここではその技術について解説します。 手法　音声を直接変換しようとすると、利用者の音声データが必要になってしまいます。そこで、音声を直接変換するのをやめて、①音声を構成する要素である音素と音高に分解し、②音素と音高を目標の声（ゆかりさん）に再合成することを考えました。 ①は、音素の抽出に音声認識とOpenJTalkとJuliusを、音高の抽出にWORLDを用いれば簡単に実現できます。そのため、②さえ実現できれば、利用者の声のデータを用意することなく、誰でもゆかりさんの声に変換すること

著者の声を録画・録音して声を変換し元の映像と組み合わせてみた映像です。 このときの変換元の音声は撮影用のスマートフォンで録音しており、部屋の残響が含まれるなど声が少し不鮮明になる収録環境ですが、それでもしっかり声変換できていることがわかると思います。 概要 Dwango Media Villageの廣芝です。 誰の声でも狙った複数の人の声に変えることができる声変換システムを開発し、実際に声を変えることができるデモページを公開しました。 (2022年5月 SeirenVoiceシリーズの製品化に伴いデモページは終了しました。) この記事では、声変換技術を研究開発する際に取り組んだ課題について紹介します。 声の変換技術には、リアルタイム性と品質のトレードオフがあります。 既存の声変換システムはリアルタイム性を重視する傾向がある一方、品質を重視したものはあまり見かけません。 品質を優先した声変換

「誰でも」「高品質に」ゆかりさんの声になれる声変換技術を作りました。また一歩、結月ゆかりになるという夢に近づけた気がします。～Q&A～Q. 生放送で使える？A. 現状だと声変換に数十秒かかるので難しいです。生放送用途だとリアルタイムYukarinがおすすめです。sm35735482Q. ゆかりねっととの違いは？A. テキスト以外の情報も利用するので、笑ったり怒ったりできます。Q. 公開予定は？A. 声変換システムの配布予定はありませんが、技術解説はブログにて公開しています。また、声変換にご興味ありましたら、ツイッターなどでご連絡いただけるととても嬉しいです。-----------------------------------・ツイッターhttps://twitter.com/hiho_karuta・技術解説ブログhttps://blog.hiroshiba.jp/everybod

仮想世界なら、理想のかわいい女の子でいられる 「可能なら、ずっとバーチャルの世界に」 自分本来の願望は、バーチャルの方がかなえられる バーチャルリアリティー（仮想現実、VR）を駆使するユーザーの間では、自分の「外見」は交換可能なのが当たり前になっています。「男」という外見をうっとうしいと感じ、少女のかわいらしい姿を積極的に選んで、仮想の世界に遊ぶ――。そんな変化が起きているのです。その交流の場VRChat（ブイアールチャット）の初期からのユーザーで、いま異色のバーチャルYouTuberとして注目される男性に、急伸するVRコミュニケーションの世界について語ってもらいました。 バーチャルYouTuber界の台風の目 話を聞いたのは、「バーチャルのじゃロリ狐娘YouTuberおじさん」ことねこますさんです。 ねこますさんの動画を初めて見た人は、最初の音声が流れた瞬間に仰天するでしょう。見た目はか

なぜ女の子の姿をしているの？ スキンヘッド＆サングラスの大男たちに襲われる kawaii（かわいい）おじさんたちに癒やされる かわいい美少女のキャラクターをまとったおじさんたちが日々集う場が、バーチャルリアリティー（仮想現実、VR）空間の中にあります。「そんなばかな」「どうやって？」と疑う人もいるかもしれません。けれど技術はすさまじい勢いで進み、そして利用法は次々と開拓されています。300万インストールを超えたソフトで繰り広げられる「kawaiiおじさんたちの楽園」。美少女おじさんたちの集う場は、その「最先端」とも言えるかもしれません。 「kawaii（かわいい）おじさん」たちの楽園 「皆さん、本当は男なんですよね？ どうして女の子の姿をしてるんですか？」 VR空間内のコミュニケーションの場「VRChat（ブイアールチャット）」のさるワールド（一種の「部屋」）。周囲にたくさん集まってくれた

自分のかわいらしさに心が跳ねる 男という外見が束縛してきたもの 今、おじさんたちが続々と「美少女」に 筆者、満56歳であります。分別盛り、世間的には定年も近い。恥ずかしながらこの年になって、心の中に「美少女」が宿っていることに気づきました。自分が美少女になって動くアプリケーションを使ったところ、今まで一切感じることのなかった少女の気持ちが心の中に生まれたのです。 最新のバーチャルリアリティー（仮想現実、VR）技術がもたらす圧倒的な没入感と表現力は、人の心の中にまで作用する力を持ち始めています。「おじさん」が「美少女の心」を感じるまでに何が起きたのか。専門家と一緒に考えてみました。 ヤマハの音声合成技術「ボーカロイド」を基に、クリプトン・フューチャー・メディアが生んだバーチャルシンガー初音ミク。オリジナルの持ち歌約10万曲、描かれたイラストは数知れず。今や世界ツアーも頻繁に行う、日本を代表す

2017-12-27 Wed 超歌舞伎に登場する初音ミクさんの美麗な舞を高品質なままMicrosoft HoloLensで鑑賞する技術 TL;DR（とても長いのでまとめ） HoloLensの3D計算能力は限られているので、美麗なミクさんを美麗なまま鑑賞するために細々とした工夫をしたよ、という話。 ドワンゴ×HoloLens ドワンゴでAR/VR/イベント演出システムなどの開発を担当している先端演出技術開発セクションの岩城(MIRO)です。 ドワンゴではHoloLensを使ったライブ体験を提供するための技術開発を継続的に行っています。2017年4月にはN高等学校の入学式において、75台のHoloLensを同期し沖縄の本校にいる校長先生を六本木ニコファーレに出現させ、式に遠隔でご参加いただくといった試みも実施しました。 これらのHoloLens関連技術は先日「Innovative Techno

What have you been up to lately, Atlas?

ソフトウェアエンジニアの間でも一般的な言葉になった「機械学習」。本書では、その機械学習やデータ分析の道具をどのようにビジネスに生かしていけば良いのか、また不確実性の高い機械学習プロジェクトの進め方などを「仕事で使う」という観点から整理し… オライリージャパンさんからは、売れ行きがとてもいいという話を伺っており、これで新しいノートPCを買う足しになるかなぁと思っています。 物理本については少数ですが、Cloudera World Tokyo2017で限定販売されるそうです。CWT2017申し込みが始まったので、物理版がほしい方は申し込むとよいんじゃないでしょうか。 書評もいくつか届いており、勝手ながら紹介させていただきます。

今年も明治大学で開催された「普通じゃないプログラミング発表会 ABPro」へ参加した。 普通じゃないプログラム、とは「みんなを驚かせ、笑わせ、幸せにするプログラム」のことを指す。 既存のスマホアプリのような枠には収まらない、様々な普通じゃないプログラムを発表するのがABProだ。 去年に引き続き、また取材をさせてもらえることになった。 今回は30件近い発表の中から特に皆さんに紹介したい作品を取り上げてレポートしていきたい。

スーパーコンピューターをはるかにしのぐ計算能力を発揮すると期待されている 「量子コンピューター」 。その実現は、今世紀後半になるとも言われていましたが、６年前、カナダのベンチャー企業Ｄ－Ｗａｖｅ Ｓｙｓｔｅｍｓ社が、世界に先駆け実用化モデルを発売。一部の専門家の間からは、本物かどうか懐疑的な見方が出たものの、グーグルやＮＡＳＡ＝アメリカ航空宇宙局など世界のトップ企業・研究機関が購入し、従来の高性能コンピューターの１億倍のスピードが確認されたことで、世界に衝撃を与えました。スーパーコンピューターをもってしても解けない複雑な問題を解決できると期待される量子コンピューターは、人工知能や画期的な新薬の開発などへの応用を通じて世界をどう変えていくのか。今月、東京で開かれた量子コンピューター国際会議を取材しました。（科学文化部・斎藤基樹記者） 量子コンピューターをめぐる世界最先端の研究成果が報告される

髪の毛を通して振動を伝え、耳の不自由な人の手助けをする「オンテナ」というウェアラブル端末の開発がいま進められています。形はヘアピンに似た小さな端末。髪に音のアンテナを立てるという意味が込められ「オンテナ」と名付けらました。開発に取り組むのは、大手電機メーカーの２６歳の若手デザイナー。耳の不自由な世界中の人たちに“音”を届けたいというその思いを語りました。（経済部 山田奈々記者） これがオンテナの試作品です。長さ５．５センチ、重さ１２グラム。見た目はヘアピンに似ていますが、さまざまな技術が使われたウエアラブル端末です。超小型のマイクと振動装置が内蔵され、拾った音をさまざまなリズムや振動の大きさに変換します。さらに光を放つＬＥＤも搭載され、 耳の不自由な人に髪の毛から伝わる振動と光によって情報を伝える 仕組みです。 伝え方の種類は２５０以上。 例えば、音楽をリズムに変換して感じ取ってもらったり

Research indicates that carbon dioxide removal plans will not be enough to meet Paris treaty goals

4月29日・30日の2日間にわたり開催されたニコニコ超会議。その中でも大きな話題を呼んだのが、中村獅童と初音ミクの超歌舞伎「今昔饗宴千本桜」だろう。 歌舞伎でありながら最新技術をふんだんに取り入れたステージはニコニコ生放送でも配信され、連日大反響を呼んだが、この超歌舞伎を映像技術面で支援したのがNTTである。超歌舞伎のどこに同社の最新技術が使われていたのか、現地を取材した。 ニコニコ超会議で2日間、5回にわたり上演された超歌舞伎「今昔饗宴千本桜」には、従来の歌舞伎のイメージを覆す様々な演出が取り入れられていた。背景のスクリーンには美麗なCG映像が流れ、ステージに設置された透過スクリーンに映し出された初音ミクはまるで本当にその場にいるかのように立体的だった。

holoportation is a new type of 3D capture technology that allows high quality 3D models of people to be reconstructed, compressed, and transmitted anywhere in the world in real-time. When combined with mixed reality displays such as HoloLens, this technology allows users to see and interact with remote participants in 3D as if they are actually present in their physical space. Communicating and in