英語ネイティブとの発音の違いを深層学習で可視化 ソニーCSLが開発

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 ソニーコンピュータサイエンス研究所（ソニーCSL）京都研究室の研究チームが開発した「A Language Acquisition Support System that Presents Differences and Distances from Model Speech」は、非母国語の学習において、学習者の発話とネイティブスピーカーの発話の差異を深層学習を用い分析し、視覚的に提示するシステムだ。学習者はこの差異を埋めようと繰り返し発話することで、ネイティブに近い発話を習得できるようになると期待できる。 （a）練習したい英語の文章と、ネイティブスピーカーの音声が与えられる。（b）学習者の

[goodstoriez]

“この研究は、もともとは「東京の人が京言葉をまねてもすぐに見抜かれてしまう」という体験から始まったそうで、AIによる技能判定や技能獲得支援の手法として、他の応用にも展開可能ではないかとしている。”

[verkhrt]

狙いはとても良さげ。だけど、サウンドクリエイターでも波形見てどういう音か判別つかないんじゃないかな……

[maninthemiddle]

これを英語義務教育に取り入れれば「発音が良いと笑われる」みたいなことが無くなりそう

[deep_one]

発音の修正は「間違ってること自体が分からない」のが一番難しいから、これは重要だと思う。／『もともとは「東京の人が京言葉をまねてもすぐに見抜かれてしまう」という体験から始まった』（笑）

[blueboy]

　二つのサンプルを比較して、「どっちが近い？」を繰り返すことで、正しく誘導できる。評価関数で点数化すればいいんだよ。もっと深層学習の将棋屋さんに学べ。

[makou]

きちんと、読んでわかるような解説が伴われれば、ろうあ者の母国語の発音習得/矯正にも役立ちそうだ。

[terazzo]

聴覚障害者の発話訓練にも使えそう

[Seiji-Amasawa]

“ネイティブスピーカーの発話の差異を深層学習を用い分析し、視覚的に提示するシステムだ。学習者はこの差異を埋めようと繰り返し発話することで、ネイティブに近い発話を習得できるようになると期待できる”

[misshiki]

事例“非母国語の学習において、学習者の発話とネイティブスピーカーの発話の差異を深層学習を用い分析し、視覚的に提示するシステム”

[door-s-dev]

フィードバック重要

[ssids]

人間の声帯や口はデジタルシグナルジェネレータじゃないからなぁ。発音姿勢の近似度が波形の近似度と必ずしも相関するとは限らないと思うんだが

[spark7]

自分の発音をそのまま正した例を示してくれるとかじゃないとな。差だけ表示されても困る。

[yabu_kyu]

最終的には音を再生しながら口に付けた矯正具が動きをガイドしてくれないと身につかないのでは（考えたら音声出してくれる機械発明した方が早そう）

[kentathecat]

日本語にない音の場合、どんなに似せようとしてもそれっぽいけど違う音にしかならないので、唇や舌の動きとかも合わせて教えてくれるのなら使ってみたい。

[swdrsker]

ニーズがあるから作りましたというより出来ることをやりました感

[hazardprofile]

どうでもいいけどこの場合「母国語」は大変政治的で内容的にも不正確なので「母語」とされてはいかがですか

[yasu-osu]

“ この研究は、もともとは「東京の人が京言葉をまねてもすぐに見抜かれてしまう」という体験から始まったそうで、AIによる技能判定や技能獲得支援の手法として、他の応用にも展開可能ではないかとしている。”

[uk_usa_tv]

インド人エンジニアたちみたいに堂々と訛った英語で話し続けるのも悪くないと思うのですが（インド人はボキャブラリーや文法はフランス人より正確で適切、というのも訛ってても通じる理由だけど）

[lavandin]

ストライクゾーンに入った外れたがわかるだけでもすごい事。じゃどうやったら入るのか。そこは自分で調整するしかないよ。あなたの舌や喉の筋肉はあなたの命令しか聞かないのだから。今のところ。

[moccos_info]

"もともとは「東京の人が京言葉をまねてもすぐに見抜かれてしまう」という体験から始まった"

[quno]

これでエセ関西弁（下野弁）も修正できるか

[eru01]

関西弁判定に応用していこう

[henno]

非ネイティブ同士なら発音の違いはそれほど問題にならないが、英語圏の社会にはいまだに発音で差別されることが多くある。人の脳は誤差フィードバックが与えられると結構学習できるもの。Decoded Neurofeedbackとかね。

[rdlf]

ネイティブっぽい発音って気にしすぎなんじゃないかなぁ…なぜか北京で日本人の日本語英語とインド人の変な英語で価格交渉をやりあう場面に居合わせたがことがあってそれ以降は発音をあんまり気にしなくなった。

[tkmkg8m]

“学習者の発話とネイティブスピーカーの発話の差異を深層学習を用い分析し、視覚的に提示するシステム”。“差異を埋めようと繰り返し発話することで、ネイティブに近い発話を習得できるようになる”

[asanoshiro200014]

発音解析アプリELSAspeakで発音改善に取り組んでいるが、ネイティブとの違いを指摘するだけで具体的改善策を示さなければ、結局上達しないように思う。

[Seamless]

画像にある2次元座標上の赤点はネイティブスピーカーの発話を、青点は学習者の発話を表しており、距離が近いほどネイティブと似た発音になるため、ゲーム感覚で近づけるように繰り返し直感的に練習できる。