はじめに この記事は、WebRTCのビデオ通話の帯域幅を自分で削減したい、という方向けの記事です。 WebRTCにはユーザの回線状況に合わせて動的にビットレートを調整する機能がありますが、それとは別軸の話です。 ビデオ通話の通信量が想定していたより大きいので節約したい... 解像度は低くていいから、細い回線でもビデオ通話できるようにしたい... こんな声を開発者からいただくことがあります。 その回答としてこの記事が役立てばと思いこの記事を書きました。 なぜCanvas APIなのか 帯域削減の解となる選択肢はいくつかあると思います。以下にその例を列挙してみました。 getUserMedia()のMediaTrackConstraintsを使って解像度・フレームレートを調整する Canvas APIを使って映像の解像度・フレームレートを調整する 帯域削減に有効な映像コーデックを指定する（例:

SkyWay ConferenceはSkyWayを利用したのブラウザ上で動作するWeb会議デモアプリです。OSSとして公開されています。 今回はSkyWay Confを改造して文字起こし機能をつけてみました！ Web会議アプリに文字起こし機能がついてると、出先でイヤホンを忘れてもなんとかなるかもしれません。　議事録も自動で出来て素晴らしいですね。 左上の窓で文字起こし関連の操作が出来て、画面中央下部に書き起こされた文字が表示されるようにしました。 できたもの まずデモアプリはこちら。Chromeで開いてください！ 文字起こし機能つきSkyWay Confのデモページ https://shinyoshiaki.github.io/skyway-conf ソースコードなど 文字起こし機能つきSkyWay Confのソースコード https://github.com/shinyoshiaki/s

概要 ビデオチャットのSkyWayに物体検出をいれて、リアルタイムで物体検出しながら ビデオチャットをする謎のビデオチャットです。 できたもの https://yolo-videochat.ga #ProtoOut pic.twitter.com/bjZZPddXEY — 3yaka (@3yaka4) June 11, 2020 概要 SkyWayで作ったビデオチャットに機械学習のTensorFlow.jsを優しーく包んでくれたml5.jsのYOLOを使って物体検出をさせ、PoseNetを使ってプライバシーを配慮した目線をかくすものをつけました。 人物に四角がついてその上にPersonと出て、左目から右目にかけて線が入ります。 1. SkyWayを使って webRTC Javascript SDK | API Reference | SkyWay(アプリやWebサービスに、ビデオ・音声通

こんにちは。iwatendoです。 以前作ったサービスを少し改良して、名前を変えました。 skybeje.net 基本的な使い方は変わってないので、詳細は前回記事を参照願います。 iwatendo.hateblo.jp その他、細かい部分をちょこちょこ改善しています。 ・変換途中の内容をテキストエリアにリアルタイム表示 ・文字コードをUTF-8のBOM無しからBOM有りに変換（Excel対応） ・CSV出力時のミリ秒部分は除去（Excel対応） ・ESCキーで変換途中の文字をキャンセル可能に改善 www.youtube.com もし良かったら使ってみてください。 バグを発見したとか、要望とかありましたら、Twitterかこのブログにコメントに書いて頂けると嬉しいです。 それでは、また。

現在、音声通話やビデオ通話が可能なサービスは多数存在するのですが、会話の内容を音声認識で字幕表示したり、テキストとして残せるサービスはそれほど多くないように思います。（現状だと英語のみ対応というケースが多い気がします） そのため、音声通話やビデオ通話と併用して利用する事で、日本語での会話内容をテキストで残せるサービスを作ってみました。 ※2020/06/08 追記：サービスの名前変更しました。 skybeje.net 使い方は簡単です。音声通話やビデオ通話をしている状態で 「Talk To CSV」にアクセス（簡易チャットルームが作られます） 上段の「招待URLをコピー」を押し、URLをクリップボードにコピーします。 （招待URLは起動のだびに毎回変わる事に注意してください） 音声通話やビデオ通話の参加者に、そのURLを伝えます。 参加者全員にGoogle Chromeで、そのURLを開い

今日はWebRTCプラットフォームSkyWay(以下、SkyWay)の中の人として記事を書きます。 SkyWayのデモアプリとして公開していた、 SkyWay Conference (以下、SkyWay Conf)というWeb会議アプリのソースコードを、オープンソースソフトウェア(以下、OSS)として公開しました。 https://github.com/skyway/skyway-conf 新型コロナウイルス感染症の影響で、様々なコミュニケーションがオンラインで行われるようになりました。誰もが、オンラインで、取りたい時に自由にコミュニケーションが取れるように、SkyWayとして出来ることを考えた結果、今回のOSS公開に至りました。詳しくは、 SkyWay公式のお知らせをご覧下さい。 この記事では SkyWay Community Editionと組み合わせたSkyWay Confの動かし方

ブラウザ上でスマホ<->PC間のビデオ通話を試したので、過程等々を記録します。 WebRTCに触れるのは初めてでしたが、SkyWay公式のサンプルコードが最高で、ほとんど手を加えることなく実現できました。 同じ初学者の方が全体感を掴む助けになれば幸いです。 技術要素 WebRTC: ブラウザ上でリアルタイム通信する技術 SkyWay: WebRTCを簡単に使うためのプラットフォーム skyway.js: WebRTCを簡単に使うためのJavascriptライブラリ nginx: Webサーバ ngrok: ローカル環境を簡単に外部公開できるサービス 確認環境 PC: ubuntu18.04.3 LTS (Bionic Beaver) / Chrome 78.0.3904.97 iPhone: 12.4.1 / Safari iPad: 13.1 / Safari android: 7.1.

はじめに 9月4日から18日の2週間、NTTコミュニケーションズでインターンシップをさせていただきました。この記事では、インターンシップの体験記として、どのようなことをしたのか、職場の環境はどんな感じなのかを紹介したいと思います。 概要 今回私は、NTTコミュニケーションズ技術開発部　WebCoreチームでWebRTCプラットフォームSkyWayの開発・運用に関する仕事をしました。勤務先は浜松町にあるLAB(Lean Agile Base)でした。NTTコミュニケーションズのオフィスは、他に大手町や田町にもあります。 developer.ntt.com インターンのきっかけ SkyWayチームでインターンシップとかあったりするんだろうか… WebRTCガッツリできるインターンシップって見たことないかも…— sublimer (@lz650sss) 2019年5月15日 「できたら嬉しいな」

はじめに mp3ファイルの音声データをWebRTCで送信しようとしたところ、MediaStreamの作成でつまずいたので、どのようなコードを書くと正しく動作するのか、原因は何だったのかをまとめておこうと思います。 書いたコード const ctx = new AudioContext(); let fakeAudioBuffer = null; const res = await fetch('bgm.mp3'); const arrayBuffer = await res.arrayBuffer(); const audioBuffer = await ctx.decodeAudioData(arrayBuffer); fakeAudioBuffer = audioBuffer; const source = ctx.createBufferSource(); source.buffer

rtcstats-wrapperとは？ WebRTC統計情報のブラウザ標準化 WebRTC統計情報の瞬間値計測 WebRTC統計値の定期監視 を実現したRTCStatsのラッパーです。 リポジトリ: https://github.com/skyway-lab/rtcstats-wrapper ドキュメント: https://skyway-lab.github.io/rtcstats-wrapper/index.html 背景 WebRTCでは、送受信されているメディアのパフォーマンスやネットワーク環境を監視するための統計情報を規定しています。 WebRTCを使用しているWebアプリ開発者なら、 1. ブラウザからWebRTC統計情報（Chromeならchrome://webrtc-internals）を確認して 2. dumpファイルをダウンロードして 3. https://fippo.g

こんにちは、ものづくり担当うこです。 ここ最近は次の元号が気になって、改元まで眠れません！ そんな平成の終了を追うように、平成初期に一世を風靡した「ポケベル」が、今年9月末で終了してしまうようですね。 東京テレメッセージ株式会社｜ページャー（マジックメール）サービス終了のお知らせ 平成生まれの僕としては、聞いたことはあるけれど、使ったことはないポケベル。 これは無くなってしまう前に体験しなくては！ でも、もうポケベル本体は生産されておらず、新規契約もできません。 ならば…… 作ってしまいましょう！ ポケベルのしくみ ガラケー世代、スマホ世代からすれば衝撃なのですが、 ポケベルは受信専用です。 基本は「無線呼び出し」という、小型の受信機に対し遠隔から合図を送る汎用的な仕組みであったものが発達し、報知局から受信専用の携帯機器のベルを鳴らすことができるようになりました。これがいわゆる「ポケベル」

事業共創プログラム　OPEN HUB for Smart World 未来をひらく「コンセプトと社会実装」の実験場 OPEN HUB for Smart Worldは、社会課題を解決し、わたしたちが豊かで幸せになる未来を実現するための新たなコンセプトを創り、社会実装を目指す事業共創の場です

ビデオチャットを最短で作りたいと考えている人への備忘録です。次の手順に沿って開発すると4時間程度でビデオチャットを開発できます。 WebRTCの概要を把握するWebRTCのコードを動かしてみるWebRTCの開発を支援するサービスを利用する1. WebRTCの概要を把握するまずはWebRTCについての概要を把握しておくと、実装するときの理解が深まります。まずは、次の記事を読んでください。 WebRTC コトハジメ同じタイトルですが、Qiitaのこの記事もわかりやすいです。 WebRTC コトハジメ2. WebRTCのコードを動かしてみる上記の記事を読んだら、早速コードを動かしてみましょう。コードを実際に動かしてみることで、着実にWebRTCの概念を理解していくことができます。 次の記事で簡単にPCのカメラの映像をブラウザに表示できることが体感してください。 カメラを使ってみよう ーWebRT

VoiceWorld Z Meetup vol.1 のLT資料です。

はじめに 先日フォロを買いました。多脚でガシガシ歩いて可愛い子です。 この子はプラモデルのように組み立てられるようになっていて、足や胴を動かす部分は単三電池に直結してあげるだけで動くようになっていました。 これなら自分で自由に動かすプログラムが書けるんじゃないかと思い、SkyWay WebRTC GatewayのARM版とRaspberry Piを利用して実装してみます。 完成したやつ 基盤が重くて可哀想だったので大八車を作ってやりました pic.twitter.com/qTTniaAijV — るんばにゃん (@arukakan) 2018年9月10日 この記事では↑のロボットをどうやって動かしているのかを書いていきます。 基本的にはインターネット越しにラズパイを操作する話なので、大体のIoTデバイスにも応用できるはずです。 ラズパイカメラを付けたので、遠隔で映像を見ながら操縦できるよう

SkyWay WebRTC Gatewayでフォロたんをコントロールしてみた。 ブラウザのGamePadAPIからWebRTCでラズパイに信号送って、そこから回路でコントロール。 ちょっと基盤が重くてカワイソス #folo… https://t.co/tXuCZO3yqI

2019.12.12 追記  本日より正式提供を開始しました。 --- WebRTC Gatewayの試験提供を開始しました。 WebRTC Gatewayは、SkyWayをブラウザ以外からも利用できるようにしたWebRTC通信エンジンです。 WebRTC Gatewayを使えば、既存の監視カメラや様々なデバイスの映像・音声・データを、WebRTCを使って、送受信することができます。 WebRTC Gatewayを利用すると以下のようなユースケースを実現することができます。 様々なデバイスをブラウザからコントロール WebRTC上の映像や音声データを取り出せる（録音録画や音声認識、配信などで活用） カメラやセンサの情報をインターネット経由で取得 Linux / Windowsで動作するx86_64用のバイナリファイルと、ARM用のバイナリファイルを提供しています。詳細・利用方法等については

SkyWay-Android-SDKのp2p-videochatがTHETA V上で動かないか興味本位で試してみました。 結果としてはTHETA V上でp2p-videochatを動かし、通話相手に360度映像を流すことができました。 # 謝辞で詳しく述べますが、最初は無理だと挫折していたのをgogoroyaさんに助言いただきできました 自分はTHETAPluginでSkyWay-Android-SDKをして音声・映像流せる事確認できてる。#skyway #thetaplugin #webrtcjphttps://t.co/9hw2J47269 https://t.co/lZjWo962Pc — gogoroya (@gogoroya) 2018年8月23日 環境 SkyWay-Android-SDK: v1.04 RICOH THETA Plug-in SDK: v1.0.0 THETA

Amazon SumerianでWebRTC(SkyWay)を使って簡単な全天球カメラビデオチャットを作ってみたので作成手順をメモしておく。 実行すると自分のpeer idが表示されるので相手に知らせて入力欄に入れてもらいconnectボタンを押すとビデオチャットが行える。 お互い全天球カメラをWebカメラとして接続していれば相手に球面に貼り付けた状態で表示される（通常のWebカメラだと球面に貼り付けられて歪む）。 作成手順 Amazon Sumerianで簡単な全天球画像ビューワーを作ってみる - Qiita と同じ手順を実施して以下のようにHTMLとスクリプトを変更する。 HTML <input id="peerid" readonly="readonly" type="text"><br /> <input type="text" id="ctnpeerid"><input type