learning-webrtc_2023-05.md 時雨堂 WebRTC 入門 (講師資料) v2023-05 これは時雨堂が開催しているオンラインイベントである WebRTC 入門の 講師用 の資料であり、 参加者用の資料ではありません。 時雨堂 WebRTC 入門 オンラインイベント 概要 ChatGPT がある今、学ぼうと思えば好きなだけ学べる時代がきています。 ただ「正しい情報」をなんとなく知っている事はとても重要だと考えています。 進め方 今回の WebRTC 入門はまず最後まで大まかに話をしていきます。 その後、残り時間を利用して、細かく話をしていきます。 資料表示用の画面と iPad を画面共有してホワイトボード的な使い方をしていきます。 お願い 是非 Discord にメモを残していってください。 後から振り返るとき、参加者の皆に有用だと思います。 ライセンス Creat
WebRTC配信技術 "WHIP" で遊ぶ - NTT docomo Business Engineers' Blog
はじめに 当ポストは、低遅延配信の技術であるWHIP(WebRTC-HTTP Ingestion Protocol)を自分で動かしてみたい方へ向けた記事となります。 WebRTCを利用した配信映像の集信プロトコルであるWHIPは現在Internet-Draftではありますが、配信技術者やWebRTC技術者の注目を得て、実際に動かせる環境が整ってきました。 当ポストでは、WHIPが動く環境を作り、自前のWebRTCスタックをWHIPで使う簡単な方法を紹介します。 とはいえInternet-Draftということもあり、「WebRTCなら聞いたことあるけど、WHIPって何？配信とWebRTCが関係あるの？」という方も多いと思いますので、最初はWHIPの紹介から入りたいと思います。 WHIPとは WHIPは、WebRTCを利用したインジェストのためのHTTPSベースのシグナリングプロトコルです。
macOSのVisionフレームワークでOBSの映像からテキストを抽出するWebSocketプロキシ - 詩と創作・思索のひろば
激安HDMIキャプチャーボードを買ってから、ときどきゲームプレイの録画・配信をしている。OBS Studioというソフトウェアがデファクトらしく、自分もこれを使っている。 便利なことにOBSにはWebSocketで操作できるインタフェースがあり、JavaScriptやPythonからかなり自由に操作することができる。となればソフトウェアエンジニアとしてはプレイログを構造化して残したいわけ。 WebSocket経由でスクリーンショットも随時取得できるので、画像を分析することでたとえばシーン判定はできるが、さらに詳細な情報を取ろうとするとテキスト情報もほしい。クラウドサービスなどに金をかけずに手軽にやるならTessaract一択となるが、素晴らしいソフトウェアではあるものの期待する精度を出すには工夫がいりそう。具体的には、ポケモンの名前は日本語だけでなく中国語の場合もある（左下の「古劍豹」）。
【個人開発】AIでVTuberを作るのに必要な知識は、機械学習の知識ではない【AITuber】 - Qiita
はじめに 先日、Virtual YouTuberを作りました。普通のVTuberとは異なり、コメントを広い、対話をしてくれるのはAIです。 AIVTuberというジャンルへの注目度は日に日に高まっていますが、一見機械学習の知識がたくさん必要で、実装が難しいように思う方も多くいるかと思います。 しかし実際は機械学習の知識は(合ったほうが勿論良いですが)そこまで必要ないです。 この記事ではAIVTuber作成のハードルを下げることを目標にしています。よって想定読者は「専門科目として機械学習を勉強していないがAIVTuberを作ってみたい人」を対象にしています。 方針の策定 「AIVTuber」に必要な要件をまず考えます。高度なことをやっているように思えますが、以下に分解するとイメージがつきやすくなります YouTubeコメントの取得 取得した質問にAIで回答 回答した文字列を合成音声に変換 音
OBS WebSocketの設定 OBSのWebSocket機能を有効にします。WebSocket機能は比較的新しい機能で、使ったことがない方も多いと思います。LAN内のコンピュータからOBSの各種プロパティを取得・変更できます。各種プログラミング言語から直接APIを呼べるので、「音声認識の結果を即時に画面に反映する」ような、頻繁に変更される値の更新に適しています。 設定方法は、OBSのメニューから「ツール」-「obs-websocket設定」をクリックし、出てきたダイアログの一番上のチェックボックス「WebSocketサーバーを有効にする」をオンにします。そして「パスワードを生成する」を押します。後述のプログラムで定数として使用します。これでWebSocket機能を使用できるようになります。 Pythonのプログラムから字幕変更 PythonのプログラムからOBSにWebSocketで接
OBS Studioに関する情報メモを書いてる記事 ※「OBS Studioに関する個人的メモ」を移転しました。(現在は閲覧不可) 記事投稿日 2021年10月6日 本記事は文字数が非常に多いため、ブラウザの検索機能をご活用ください。 ブラウザ検索のショートカットキー ・Windows : Ctrl + F ・macOS : Command + F 見づらくて申し訳ありません。 将来的には内容を分割して投稿したいと考えていますが、分けても長くなってしまうため、当面はこのページにまとめています。 この記事は以下の環境を使用して作成しています。 ※Linux、特定のデバイスが無いと表示されないソースのことはメモしていません。 ■Windowsの場合 OBS Studio 31.1.2 (それ以前のバージョン、および開発版も含む) OS : Windows 11 Pro 64bit (バージョン
learning-webrtc_2024-02.md 時雨堂 WebRTC 入門 (講師資料) v2024-02 これは時雨堂が 2024 年 2 月 8 日 (木) 14:00-18:00 で開催を予定しているオンラインイベント WebRTC 入門 v2024-02 の 講師用 の資料であり、 参加者用の資料ではありません。 時雨堂 WebRTC 入門 オンラインイベント v2024-02 概要 ChatGPT がある今、学ぼうと思えば好きなだけ学べる時代がきています。 ただ「正しい情報」をなんとなく知っている事はとても重要だと考えています。 進め方 今回の WebRTC 入門はまず最後まで大まかに話をしていきます。 その後、残り時間を利用して、細かく話をしていきます。 資料表示用の画面と iPad を画面共有してホワイトボード的な使い方をしていきます。 お願い 是非 Discord に
learning-sora.md 時雨堂 WebRTC SFU Sora & Sora Cloud 入門 (講師用資料) これは時雨堂が開催しているオンラインイベントである WebRTC SFU Sora & Sora Cloud の 講師用 の資料であり、 参加者用の資料ではありません。 概要 時雨堂が開発し提供している WebRTC SFU Sora とそのクラウド版である Sora Cloud を一通り紹介するための講師用の資料です。 これを機会に多くの商用環境で利用されている WebRTC SFU Sora について学んでほしいと考えています。 進め方 まず最後まで大まかに話をしていきます。その後、残り時間を利用して、細かく話をしていきます。 資料表示用の画面と iPad を画面共有してホワイトボード的な使い方をしていきます。 お願い 是非 Discord にメモを残していってくだ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
時雨堂 WebRTC 入門 (講師資料) v2023-05
Whisperを使ったリアルタイム音声認識と字幕描画方法の紹介 | さくらのナレッジ
OBS Studio に関するメモ - すたいるのOBS情報メモブログ
時雨堂 WebRTC 入門 (講師資料) v2024-02
時雨堂 WebRTC SFU Sora & Sora Cloud 入門 (講師用資料)