Mastraを介してブラウザからOpenAI Realtime APIを使ってみた。 - フレクトのクラウドblog

はじめに 研究開発室の岡田です。音声AIとその周辺技術についての活用研究をしています。 LLMの出現により自然言語でコンピュータを操れるようになり、音声AIはこのI/Fとしての活用が期待されています。 最近ではOpenAIを筆頭に、音声でリアルタイムにLLMとやり取りできるサービスが現れ始めています。 また、OpenAIはそのようなサービスを構築するためのRealtime APIをβ版ではありますが公開しており、 今後正式リリースされれば音声AIをI/Fに用いたサービスが増えていくことが十分に考えられます。 今回は、TypeScriptを用いてAIエージェントを構築するためのオープンソースフレームワークMastraで、このOpenAIのAPIを使う方法をご紹介します。 Mastraについては多くの解説記事がありますので今回の記事では詳細な説明は割愛させていただきますが、 特にWebアプリと

[sh19910711]

"Realtime APIへのアクセスは、WebRTCを用いる方法と、WebSocketを用いる方法の二つ / ブラウザからの音声データをMastraのウェブソケットで受け付け"