Notebook LMを活用して音声配信をもっと楽しむ方法
NotebookLM NotebookLMはGoogleが提供している生成AIを活用したサービスです。なんと（2024年10月現在は）無料で使えます。 NotebookLMは、Googleの生成AI Geminiのロングコンテキスト（多くの量のプロンプトを扱うことができるという意味）の特徴を活かした、文章の要約やQA対応が得意です。文章は、直接プロンプトに入れている（と思われる）ので、単なるRAGとは違う（と思われ）ます。 RAGとロングコンテキストのどっちが良いのかというのは、色々議論があるようです。例えばLost in the Middle: How Language Models Use Long Contextsという論文では「ロングコンテキストの真ん中の情報は失われるよ」みたいなことが書いてありますがRetrieval Augmented Generation or Long-C
AIが論文や書籍を要約してポッドキャスト風の会話音声に自動変換してくれる「Google Illuminate」が公開中
Googleが、論文や書籍をAIが要約し、その内容を元に会話形式の音声コンテンツを生成する「Google Illuminate」において生成される音声のプレビューを公開しました。記事作成時点で、Google Illuminateはあくまでも実験的なデモとして公開されていますが、実際に論文を音声に変換した結果をウェブサイト上で聞くことが可能です。 Illuminate https://illuminate.google.com/home Google Illuminateのページはこんな感じ。 記事作成時点では、コンピューターサイエンスの学術論文が例として提示されています。「Play」をクリックすると、実際に生成された音声を聞くことができます。Googleの研究者が2006年にTransformerモデルを発表した論文「(PDFファイル)Attention is All You Need」の
AWS Step Functionsで、音声ファイルがS3バケットに保存される度にAmazon Transcribeで文字起こしし、内容をメール送信してみた | DevelopersIO
はじめに AWS Step Functionsを利用し、音声ファイルがS3バケットに保存されるたびにAmazon Transcribeで文字起こしを行い、文字起こし内容をメール送信する方法を紹介します。 今回構築する構成は以下の通りです。 処理の流れは以下の通りです。 音声ファイル（WAV）をS3バケットにアップロードする アップロードをトリガーにEventBridgeからStep Functionsステートマシンを起動する 音声ファイルからAmazon Transcribeで文字起こしし、文字起こした内容をAmazon SNSでメール送信する この構成を構築するきっかけは、以前執筆した「Amazon Connectでエージェントの介在がない場合でも電話中の発話を録音する」記事の構成に、録音ファイルに対して文字起こしとメール通知機能を追加する必要が生じたためです。 執筆した記事の構成図は以
Neural Audio Codec を用いた大規模配信文字起こしシステムの構築 - Mirrativ Tech Blog
こんにちは ハタ です。 最近Mirrativ上に構築した配信の文字起こしシステムを紹介したいなと思います 音声からの文字起こしは、各社SaaSでAPI提供されているものがあると思いますが、今回紹介するものはセルフホスト型(自前のGPUマシンを使う)になります 構築していく上で色々試行錯誤したのでそれが紹介できればなと思っています どんなものを作ったか 前提知識: 配信基盤 前提知識: Unix Domain Socket Live Recorder Archiver DS Filter VAD Filter NAC / Compress Transcriber NAC / Decompress Speach To Text コンテナイメージ まとめ We are hiring! どんなものを作ったか 今回作ったものは Mirrativで配信されるすべての音声を対象に文字起こしを行う シス
誰の声でも100人の声に変えられる声変換システム - Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)
著者の声を録画・録音して声を変換し元の映像と組み合わせてみた映像です。 このときの変換元の音声は撮影用のスマートフォンで録音しており、部屋の残響が含まれるなど声が少し不鮮明になる収録環境ですが、それでもしっかり声変換できていることがわかると思います。 概要 Dwango Media Villageの廣芝です。 誰の声でも狙った複数の人の声に変えることができる声変換システムを開発し、実際に声を変えることができるデモページを公開しました。 (2022年5月 SeirenVoiceシリーズの製品化に伴いデモページは終了しました。) この記事では、声変換技術を研究開発する際に取り組んだ課題について紹介します。 声の変換技術には、リアルタイム性と品質のトレードオフがあります。 既存の声変換システムはリアルタイム性を重視する傾向がある一方、品質を重視したものはあまり見かけません。 品質を優先した声変換
Nintendo Switchからデジタル音声を「直接」取り出す。FPGAで！ - Zopfcode
Switchはイヤホン出力の音がひどいことで有名だ*1。 ブズズズズ………バババババ…… と熱雑音では明らかに説明できない周辺回路のお気持ちが音となって伝わってくる。 そこでUSB DACを使いたいのだが、どうも手持ちだとハイエンド機に限って動かない*2。別なやり方でデジタル音声を取り出さなければ。 取り出し方は様々ある。 ドックのHDMI出力 + S/PDIFスプリッター（TVモード必須） Switch用Bluetoothトランスミッター（ぶっちゃけこれが一番オススメ） Switchが認識できるUSB DDCで同軸デジタルなどにする Raspberry PiのUACガジェット Switchに直に接続できないDACを使いたい場合は、DDC必須*3でゴテゴテしてしまう。 「それなら本体に流れるデジタル信号（I2S）を直接取り出して、S/PDIFに変換するしかないよね！」と思いついた26の夜。
End-to-End音声認識の計算量を削減した話
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、音声処理黒帯（黒帯はヤフー内のスキル任命制度）の藤田です。今日のブログでは、音声認識技術の研究開発におけるヤフーの最新の取り組みを紹介します。 特に、近年注目されているTransformerという手法に基づく、End-to-End音声認識の計算量を削減した研究を紹介します。この研究は、難関国際会議IEEE ICASSP2020に投稿し、採択されました。また、arXivでプレプリントを公開しています。そして、ESPnetというEnd-to-Endモデルのツールキット上でソースコードも公開しています。興味のある方はぜひ、こちらもご参照ください。 音声認識で用いられるEnd-to-Endモデルとは？ 音声認識技術は音声をテキ
プログラマーの脳は作業中に”誰かの声”を聞いていると判明！ 数学力より音声理解力が重要 - ナゾロジー
一般の人にとって、プログラマーの持つ知識と技術は別世界のもののように感じられます。 海外の研究者にとってもプログラマーの持つ特殊技能は興味の対象であったようで、古くは1980年代から、心理学的手法を使ったプログラマーの「特別な脳」の分析が行われてきました。 そんな中、近年の急速な神経科学の発展により、MRI（核磁気共鳴）やEEG（脳波測定）を用いて脳活動を可視化することが可能になってきました。 しかし、これまでの研究で可視化した脳領域は、読書やゲームといった日常生活時にも使われる汎用的な領域であり、プログラム時にだけ働く特異的な領域ではありませんでした。 そこで今回、ドイツのケムニッツ工科大学の研究者たちは、プログラム時にだけ働く「プログラム脳」の特定に挑戦。結果は、予測とは大きく異なるものとなりました。 なんと、プログラム時に働く脳機能は数学的能力や論理的推察力ではなく、会話時における相
SoundFlowerのようにMacに仮想オーディオ入出力装置を作成できるオーディオ・ユーティリティ「BlackHole」がAppleの公証を取得し、マルウェア警告なしにインストール可能に。
SoundFlowerのようにMacに仮想オーディオ入出力装置を作成できるオーディオ・ユーティリティ「BlackHole」がAppleの公証を取得し、マルウェア警告なしにインストール可能になっています。詳細は以下から。 BlackHoleはCycling ’74チームが開発/メンテナンスを終了したオーディオユーティリティ「SoundFlower」のように、Macに仮想オーディオ入出力装置(ソース)を作成し、アプリからの音声を別のアプリへ繋いでくれますが、このBlackHoleのインストーラーがAppleの公証を取得したそうです。 BlackHoleを開発しているExistential Audio Inc.のDevin Rothさんによると、BlackHoleはmacOS 10.15 Catalinaに対応させるためにドライバには開発者署名し、Appleの公証を取得していたそうですが、インス
音声から顔画像を生成するwav2pixを実行してみる（アニメ顔生成もあるよ） - Qiita
はじめに Deep Learningの世界，とりわけGenerative Adversarial Networks(GAN)は近年，飛躍的に成長しており，Text-to-Imageや声質変換，音源分離など様々な分野で研究が進んでいると思います． 今回のお話は，その中でも音声から顔画像を生成するwav2pixについて，ゆるく書いていきます． Paper: WAV2PIX: SPEECH-CONDITIONED FACE GENERATION USING GENERATIVEADVERSARIAL NETWORKS ざっくり概要 https://imatge-upc.github.io/wav2pix/ 提案されているモデルは以下3つのモジュールから構成されています． Speech Encoder Generator Network Discriminator Network それぞれのモジュ
ZOOM会議に効果音をいれて超楽しくするには｜深津 貴之 (fladdict)
拡張現実（AR）は、音声からはじまる…というのが以前からの持論。そんなわけでZOOMの会議に、効果音をブチ込める環境を作ってみました。 会議中に、Hahahaha!とかOhhhhh…みたいな、アメリカンなアクションやりたい！ファンファーレやドラムロールとか、拍手やブーイング、ズキューンとか鳴らしたいじゃない？ ユーザー体験が超変わる！！と思ったのですが、ググってもでてこなかったので環境構築してみました。 環境概要物理機材はなしソフトで解決。バーチャルミキサーを使って、マイクと各種音声アプリのサウンドを合算します。初回設定20分。会議前設定30秒ぐらい。ZOOMには、バーチャルミキサーを擬似マイクとして設定。こうすることで、様々な効果音や音楽、楽器をZOOMに流しこめます。 バーチャルミキサー音の合成には、Loopbackというアプリを使います。このアプリは、複数のオーディオインプット（マイ
音を操るWeb技術 - Web Audio API入門 - ICS MEDIA
Webにおける表現はどんどん進化しています。Webサイトには当然のように動画が埋め込まれるようになり、CSSやSVG、canvasでのさまざまな表現が頻繁に見られるようになりました。さらにAR、VRといった表現も台頭し筆者も毎日ワクワクしながらインターネットの海を泳いでいます。 その中であまりメジャーではないと感じるのは「音」による表現です。もちろん音を用いた素晴らしいWebサイトはたくさんありますが、環境の制約が視覚表現以上に大きいため多くは見られないのでしょう。 とはいえ、音と視覚表現を組み合わせることによって表現できる世界観、インタラクション、その他諸々は計り知れないと筆者は思っています。今後オーディオなどの技術の進歩によって上記で述べた制約も乗り越えられるようになるかもしれません。時代を先どりしたい読者に向けて、今回の記事ではWebで音を扱う技術Web Audio APIについてお
音通信ライブラリChirpを利用してTHETAを操る - Qiita
お知らせ 2020/12/22 現在、Asio Ltd.はSONOS社傘下に入り、Chirpライブラリは公開されておらず、アプリケーションも公開されておりません "が"（続きがあります） We are excited to announce that Chirp has been acquired by @Sonos. We’ve loved seeing developers apply our SDKs to such an imaginative range of applications. Our thanks to everyone who has supported us on our mission over the last 9 years 🙌 More info: https://t.co/U5GTeuaTzd pic.twitter.com/XKYM9ooDFu —
Kindleの読み上げをICレコーダーを使って1度MP3化すると、劇的に使い勝手が良くなることが分かりました - 勝間和代が徹底的にマニアックな話をアップするブログ
私は本を読む時間よりは、聞いてる時間の方が長いです。家で家事などをしていたり、運動してなどをしてる時もそうですし、外で自転車に乗ってる時や、車を運転してる時もオーディオブックで本を聞いています。 そしてこれまでKindleの読み上げはiOSの読み上げやAndroidのトークバック、Fire HDの読み上げ機能など、色々使ってみましたが、全て一長一短でした。 そうしたら、ブックマークの方にICレコーダーに1度録音して、MP3化して、それを聞いているという話があって、なるほどと思って真似してみたところものすごい快適になりました。 モノラルで圧縮率を高く録音すると、大体3倍速で1時間20メガバイトぐらいで録音できるので1冊60メガバイトから100メガバイトぐらいになります。 一応著作権も確認したのですが、私的利用の範囲ということでした。自分で買った本を裁断して自炊するのとほぼ同じ原理ですね。私は
ゲーム音楽って面白いんです！ - SEGA TECH Blog
はじめまして、セガゲームスでサウンドクリエイターをしております小林と申します。 1998年に入社し、主に「ファンタシースター」シリーズでサウンドの制作に携わっています。 今回はゲーム音楽の面白さ！をできるだけ伝えられればと思っています。 【目次】 最初に作った音楽は？ 本格的に関わった「ファンタシースターオンライン」 インタラクティブミュージック・・？ 「SYMPATHY」システムを使用した「PSO2」 目的を持った音楽を！ PSO2のサウンド表現 「感動体験」を！ 最初に作った音楽は？ 最初の頃に作曲として参加した作品は「ぐるぐる温泉」というパーティーゲームのBGMでした。ぐるぐる温泉というゲームはたくさんのミニゲームがあり、それに好きなBGMを鳴らして遊ぶというもので、自分も何曲か作りました。 （フュージョン的なBGMや、ボサノバ風なものも作りました） ここで、このゲームにおけるBGM
AutoML Vision と RasPi でリビングのいろいろな音を認識する
Cloud AutoML Vision は、画像とその分類ラベルをクラウドにアップロードするだけで画像認識の機械学習モデルを作成できるサービス。ラーメン二郎のどんぶり画像から 95% 精度で店舗を当てたりできる高性能だけど、機械学習のディープな知識や経験がなくても使える。 で、これでまず試してみたかったのが、音の認識だ。画像じゃなくて音。 2 年くらい前に、画像認識用の CNN を使って音声を認識する論文が Microsoft Research から出てて、へぇーっと思った。スペクトログラムっていう、よく犯罪捜査で出てくる声紋のアレを使って音を画像にして、その模様から音の特徴を認識する。 CNN で音声認識（Microsoft Research）なるほどなあ。。つまり、世の中のどんなデータでも、捉えたい特徴を画像の特徴として表せれば、画像認識で識別できる……ってことだ。 そして、AutoM
２人で残業→１時間で完了 ＡＩで議事録、効果てきめん：朝日新聞デジタル
徳島県は人工知能（ＡＩ）を使った議事録の音声のテキスト化と要約を、１５日から全ての審議会や協議会に広げた。昨年度に知事の定例会見のデータを使って実施した実証実験を踏まえ、本格導入することにした。議事録作成にかかる作業が５分の１に減り、公開までの時間も大幅に短縮されるという。 行政改革室によると、昨年１０月から今年３月に実施した実証実験では、これまで会見４日後だった知事会見のホームページ公開を当日中に前倒しできた。ホームページへのアクセス数も２倍以上に増え、利用者の満足度は９割を超えたという。 会議データを要約する「ＡＩ要約システム」は、当初は不自然な日本語になることもあったが、長い発言には「。」（句点）を入れるなどの工夫で分かりやすい表現になるよう、使い方を改善したという。 県の審議会や協議会は約１３０あり、議事録は原則としてインターネットで公開している。これまでは職員が音声データを聞きな
統計的声質変換の紹介 - nico-opendata
nico-opendata niconicoでは、学術分野における技術発展への寄与を目的として、 研究者の方を対象に各種サービスのデータを公開しています。 ニコニコ動画コメント等データセット (株)ドワンゴ及び(有)未来検索ブラジルと国立情報学研究所が協力して研究者に提供しているデータセットです。 ニコニコ動画コメント等のデータが利用可能です。 利用申請フォーム※国立情報学研究所へリンクします ニコニコ大百科データ (株)ドワンゴ及び(有)未来検索ブラジルと国立情報学研究所が協力して研究者に提供しているデータセットです。 ニコニコ大百科のデータが利用可能です。 利用申請フォーム※国立情報学研究所へリンクします Nico-Illustデータセット Comicolorization: Semi-Automatic Manga Colorization Chie Furusawa*、Kazuyu
BBCが所蔵する1万6000種類以上のサウンドライブラリーを公開、無料でWAVファイルのダウンロードも可能
イギリスの公共放送局BBCが新たにサイト「BBC Sound Effects」を立ち上げ、1万6000種類以上という膨大な量の音源素材の提供を開始しました。サイトではキーワード検索でお目当ての素材を探せるようになっており、非圧縮のWAVファイルをダウンロードすることも可能です。 BBC Sound Effects - Research & Education Space http://bbcsfx.acropolis.org.uk/ 1922年にラジオの放送を開始したBBCは、およそ100年にも及ぶ活動の中で膨大な音素材を蓄積してきました。BBC Sound Effectsはその名が示すとおり、数々の素材の中からサウンド･エフェクトとして利用できる音源の提供を行うサイトです。素材はRemArcライセンスで提供されており、著作権はBBCが所有しますが個人利用や教育利用、そして研究用途において
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BlackHole: Route Audio Between Apps
