タグ

ブックマーク / zenn.dev/shinyoshiaki (2)

  • WebRTCのAV1なRTPパケットをwebmファイルに録画する方法

    AV1 コーデックを使っている RTP パケットを webm ファイルに、録画するために必要な知識と方法についてまとめます。(ブラウザ上で MediaRecorder を使うという話ではないです...) WebRTC 経由で AV1 な RTP パケットを受け取って webm ファイルに録画するプログラムを TypeScript + Node.js で実際に実装しました。 録画した webm ファイルは ChromeVLC で再生できることを確認しています。 参考資料 AOM AV1 codec mapping in Matroska/WebM https://github.com/ietf-wg-cellar/matroska-specification/blob/master/codec/av1.md AV1 のバイナリを webm ファイルにする方法について書かれた仕様書 RT

    WebRTCのAV1なRTPパケットをwebmファイルに録画する方法
  • WebRTCのリアルタイム音声合成サーバ(MCU)を作ってみた

    この他にもMCUで映像を合成する場合、映像のレイアウトに柔軟性がなく(出力が1つの映像となるため)、フロントエンド側からするとSFUのように個別の映像が貰えるほうが自由度が高くて嬉しいという観点もあります。 ただ、音声の場合、Web会議的なユースケースにおいてはレイアウトの概念がなくPCのスピーカーから出てくる頃にはMCUとSFUで音の違いはほとんどないでしょう。また、映像に比べると音声の合成はそれほどサーバへの負荷が高くありません。 音声にMCUを使う嬉しい点として、SFU経由だと多人数Web会議での通話が成り立たないほど回線が細い場合(移動通信回線の通信制限状態など)でもMCU経由だと通信量が抑えられるので通話できるかもしれないということが挙げられます。 そこで記事では比較的実用的と思われる音声のみを扱うMCUを実際に作ってみます。 MCUを作ってみよう ブラウザから複数の音源をMC

    WebRTCのリアルタイム音声合成サーバ(MCU)を作ってみた
  • 1