コンピュータビジョン分野における世界最高峰の国際会議CVPR2022の論文紹介（後編） - NTT docomo Business Engineers' Blog
目次 目次 はじめに 論文紹介 The Norm Must Go On: Dynamic Unsupervised Domain Adaptation by Normalization OcclusionFusion: Occlusion-aware Motion Estimation for Real-time Dynamic 3D Reconstruction EPro-PnP: Generalized End-to-End Probabilistic Perspective-N-Points for Monocular Object Pose Estimation Cascade Transformers for End-to-End Person Search TrackFormer: Multi-Object Tracking With Transformers Global T
公開日：2022年8月23日 最終更新日：2023年1月16日 はじめに 環境構築 実行方法 学習済みパラメーター「sd-v1-4.ckpt」のダウンロード リポジトリのクローン 「sd-v1-4.ckpt」の移動 いよいよ実行 結果 つづき 動作確認できたその他の環境 CUDA 11.3.1 1 2 CUDA 11.6.2 1 2 VRAM不足に直面したら 更新履歴（2022年10月11日） バージョン2.1 はじめに最近「DALL-E2」や「Midjourney」など文章から画像を生成するAIが流行っています。 その一つが今回紹介する「Stable Diffusion」です。 「Stable Diffusion」の特徴はオープンソースで公開されていることであり、ローカル環境で実行可能です。 もちろんWeb上で簡単に試すことも可能で、こちらにデモンストレーションが公開されています。 hu
AIでディープフェイクを作るFaceFusionのインストールと使い方とNSFWフィルターの解除方法2024-06-30 FaceFusionとは？ いわゆるDeepFakeというのが作れるやつです。 トムブラウンの漫才でみちおの顔がトム・クルーズになってたりするあれが作れるやつです。 https://github.com/facefusion/facefusion 今回はWindowsでの導入方法を公式の説明を参考に確認していきます。 https://docs.facefusion.io/installation すべてコマンドプロンプト上で実行すればよいです。 必要なツールのインストール Git winget install -e --id Git.Git Conda winget install -e --id Anaconda.Miniconda3 --override "/Add
Host your own Mastodon instance on a Raspberry Pi - Raspberry Pi
We use some essential cookies to make our website work. We use optional cookies, as detailed in our cookie policy, to remember your settings and understand how you use our website. The ongoing emergency at Twitter has made a lot of us take a serious look at social media. After a lot of debate here at Pi Towers, we’ve now spun up our own Mastodon instance. The best thing about it? It’s running on a
「トレーニング中に推論プロセスをシミュレートし、KV キャッシュを使用して自己回帰ロールアウトを実行することで、自己回帰ビデオ拡散モデルをトレーニング」することにより、「トレーニングとテストの分布の不一致が解決され、最先端の拡散モデルの品質に匹敵する、単一の RTX 4090 でのリアルタイムのストリーミング ビデオ生成が可能」となったらしいSelf Forcingを試してみます。 使用するPCはドスパラさんの「GALLERIA UL9C-R49」。スペックは ・CPU: Intel® Core™ i9-13900HX Processor ・Mem: 64 GB ・GPU: NVIDIA® GeForce RTX™ 4090 Laptop GPU(16GB) ・GPU: NVIDIA® GeForce RTX™ 4090 (24GB) ※外付け ・OS: Ubuntu22.04 on WS
[GUIDE] Use, create, and post LoRA. For beginners to intermediate level Japanese guide/LoRAを使う、作る、投稿する。 初心者～中級者向けの 日本語ガイド - v0.8 | Stable Diffusion Other | Civitai
LoRAを使い、作り、投稿する。まとめ更新中のため記述に誤りがあるかもしれません 2023/04/29 20：00 更新AI素人です 知識はそんなに深くないので難しい事はあまり書かないです download数が増えるとたぬきが喜びます good（💛）が増えるとたぬきのHPが回復します rating（☆）が増えるとたぬきのモチベーションが上がります 日記のようなものhttps://github.com/vladmandic/automatic fork版（派生版）の解説しようかと思ったら本家がdevを更新し始めたので どうしようか悩み中です 最近はLoRAモデルの学習よりもAI絵の生成の比率が高くなっていますが もともとやりたかったのはAI絵の生成でした V関係モデルの投稿はペースダウンしています そもそもLoRAって何？の説明ざっくりとした説明 stablediffuisonというソフト
![[GUIDE] Use, create, and post LoRA. For beginners to intermediate level Japanese guide/LoRAを使う、作る、投稿する。 初心者～中級者向けの 日本語ガイド - v0.8 | Stable Diffusion Other | Civitai](https://cdn-ak-scissors.b.st-hatena.com/image/square/240320c5fab03a8c72f23497f354a766c913383c/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fimage.civitai.com%2FxG1nkqKTMzGDvpLrqFT7WA%2F251dc50f-99e0-40db-0fa1-ecfbc0d4e400%2Fwidth%3D1200%2F251dc50f-99e0-40db-0fa1-ecfbc0d4e400.jpeg)
Gaussian Splattingは、SIGGRAPH 2023で発表されたプロジェクトです。 複数枚の写真からその空間のあらゆるところから見たビューを補間します。 同じ技術にNeRFがありますが、これの欠点を補った理論のようです（アルゴリズムはまだ未調査）。 NeRFの問題は、かなり大雑把な書き方ですが大きく以下の2点があります。 トレーニング時間がかかる 最終的な空間の復元で解像度不足 (なんだか眠い) GitHubのリポジトリはこちらになります。 https://github.com/graphdeco-inria/gaussian-splatting 今回はGaussian Splattingを試す流れをまとめることにしました。 CUDA11.8とAnaconda3を使います。 GoProで撮影した動画を使ってウォークスルーするまでを行います。 検証環境 OS : Windows
準備 検証環境について 前の記事でも軽く書きましたが、せっかくffmpegも8.0になったので、改めて構築方法を見直してみます。vagrantなのでroot前提でもお気楽で良いかなと思いましたが、さすがに乱暴かなと思い一般ユーザーでの作業に落とし込んでいます。 nasmはcrbからのインストールにしました。最新バージョンではないですがAVX-512サポートはできているバージョンなのでまあいいかなと。またこの後画質検証などもしたいと思い、追加でVMAFも組み込んであります。 またffmpeg 8.0からMacのSafariでも再生できるようにパッケージングしてくれるようになったので、AV1とVP9の組み合わせでのHLSも作っていけるようにVPXも組み込みました。 あとはWhisperで使用したい音声コーデックなどがあれば追加で組み込むぐらいですかね。まあ一旦は動作確認という事でこれくらいでや
生成AIでも人気のある機能のひとつが「音声合成」です。今回はゼロショットで（つまり事前学習の必要なく）任意の参照音声に変換できる「Seed-VC」をUbuntuで動かしてみましょう。 図1 Web UIやCLIから、マイクやアップロードしたファイルの音声データを、別の声に置き換えてくれる Seed-VCについて AIを利用した音声関係では、特に活発に開発が進んでいるのが「音声認識」と、今回紹介する「音声合成」です。どちらも十分に実用的な性能になっており、すでに製品化されているサービス等を使っている読者も多いでしょう。 第877回の「リアルタイム文字起こしをローカルマシンで実現できるWhisperLiveKitを使ってみよう」で紹介した、「WhisperLiveKit」もそんなツールのひとつです。WhisperLiveKitでは入力された音声を認識し、文字情報へ起こすことに特化したツールで
【RVC v2モデル対応版】日本人のためのRVC WebUIの使い方：AIボイスチェンジャー | 子供プログラマー
【今後の開発に関して】（2024年12月24日） Google Colaboratory版のRVC WebUIのチュートリアルコードのご利用いただき、ありがとうございました。 今後の開発は、クラウドGPUサービスの1つであるRunPodで継続していきます。 今後もクラウドサービス上でRVC WebUIを使いたい方は、以下の記事ページを参照ください。 チュートリアル記事： 【RunPod編】RVC WebUIをはじめよう – AIボイスチェンジャー（一覧） 現在利用できるノートブック（2024年12月24日時点） ・オリジナル版RVC v1モデル対応RVC WebUI ・オリジナル版RVC v2モデル対応RVC WebUI ・ddPn08版RVC v1モデル対応RVC WebUI ・ddPn08版RVC v2モデル対応RVC WebUI 【動画で解説】RVC v2モデル対応版：オリジナル版
YouTube字幕を抜き出して必要な情報を自分用に抽出するツールのお手伝いをしています。メインの機能を実現しているのがPython製のオープンソースウェアで、ローカル実行はできるもののWeb上でなんとかできないかな？ ということで、頑張ってみました。 youtube-dl をベースに開発する YouTubeダウンロードではパブリックドメインなソフトウェアである「youtube-dl」がよく使われるようで、こいつがPython製です。 特にWindows環境ではDLL周りの準備がたくさん必要でもう壮絶的に大変なようですので、別環境だとどうなるのかも兼ねてこちらでもやってみつつ、どこからでも使えるようにBaaSにデプロイしてAPIとして使えるようにすることを目標とします。 おためし1：適当な動画をダウンロードしてみる 実行環境はmacOS Catalinaです。音楽作品っぽいのを試しにダウンロ
注意録画データの著作権などは自己責任で。 SoftCasも闇なので自己責任ですよ。 *リクエストに応えて掲載。未検証です。 用意するもの1. 適当なPC 2. EarthSoft PT3 3. その他 (Wi-Fiドングル、USBメモリ、アンテナケーブル、分配器、電源供給器、BS/CS アンテナとか...。) Asia、Tokyoに時間をセット # rootで。 $ timedatectl set-timezone Asia/Tokyoリポジトリを追加 # 初期状態を確認 $ cat /etc/apt/sources.list | sed -e "/^#/d" -e "/^$/d" # ミラーを追加 $ sudo sed -i.bak -e 's%http://[^ ]\+%mirror://mirrors.ubuntu.com/mirrors.txt%g' /etc/apt/source
はじめに というわけで、今流行りの？ SST → LLM → TTS をやってみました。 「SST」は、音声テキスト変換（Speach to Text）、LLM は、大規模言語モデル（Large Language Model）でいわゆる「ちゃっぴー」、「TTS」は「SST」の逆で、テキスト音声変換（Text to Speach）です。 で、これで何ができるのかというと、音声で問いかけるとちゃっぴーみたいな人が回答して、それを音声で返してくれる、という「あれ」ができるわけです。 実行環境 Windows11 上に立てた WSL2（Debian12）の中にいろいろインストールしました。 あと GPU は RTX5060Ti で、WSL内で使用する CUDA は 12.8 を使いました。 ＃nvidia-smi をすると CUDA Version 12.9 とでますが、12.8でも動くみたいなの
【要約】 DiffBIRは，画像復元の手法で，低品質な画像を高品質に復元する．Windows上でのインストールでは，TritonのインストールとDiffBIRのセットアップを行う．学習済みモデルを使用して，画像復元を行う．詳細は公式GitHubページで説明されている． 元画像と処理結果 【目次】 前準備 DiffBIR のインストール（Windows 上） DiffBIR の動作確認（Windows 上） DiffBIR を使う Python プログラムの実行（Windows 上） DiffBIR DiffBIRは画像復元の手法の一つである。 画像復元は、低品質または劣化した画像を元の高品質な状態に修復するタスクである。 このタスクでは、ノイズや歪みなどの複雑な問題に対処する必要がある。 DiffBIRは、2つの主要なステージから成り立っている。 最初のステージでは、画像復元が行われ、低品
3D Gaussian Splattingをやってみる(Windows11での環境構築)｜Think & Craft
初めまして。Think & Craftでアルバイトをしております、白井雅也と申します。 最近、フォトグラメトリやLiDAR, NeRF など写真や動画から3次元空間を再構築する技術が登場してきています。 本記事では、その手法の一つである3D Gaussian Splattingというものに着目し、Windowsのローカル環境で行うための手順を紹介いたします。 3D Gaussian Splatting の概要3D Gaussian Splattingとは、複数視点の画像から3D空間を再構成する手法の一つである。複数視点の画像からポイントクラウドを作成し、機械学習によって各ポイントをパラメータのあるガウシアンに変換したデータとして記録する。そのため、レンダリング時は再度学習する必要が無く、記録されたパラメーターを用いて空間の特徴をボリュームデータとして復元することができる。これによってNeR
README
Tartube - The Easy Way To Download and Watch Videos Works with YouTube, Twitch, Odysee, and hundreds of other sites Download Tartube from trustworthy websites - not fake ones! 1 Introduction 2 Why should I use Tartube? 3 Downloads 4 Quick start guide 5 Installation 6 Using Tartube 7 Frequently-Asked Questions 8 Contributing 9 Authors 10 License 1 Introduction Tartube is a GUI front-end for youtube
はじめに security cameraなどが保存するファイルが壊れている（再生できない）事があるかと思います。 通常、こういうカメラは同じようなファイルの作り方で生成しているので、他の再生可能なファイルをベースに再構築することで、再生できることがあります。 まさにそういうツール を作ってくれている方がおりましたので、それを Mac OS X上で buildして実際にファイルを修復してみます。 まずファイルの診断 $ ffmpeg -i corrupt.mp4 ffmpeg version 4.3.1 Copyright (c) 2000-2020 the FFmpeg developers built with Apple clang version 11.0.0 (clang-1100.0.33.17) configuration: --prefix=/usr/local/Cellar
録画サーバー構築 Raspberry Pi 4b + USB boot Raspberry Pi OS 64bit (Docker-Mirakurun+Chinachu) ffmpeg H264_v4｜noyss
録画サーバー構築 Raspberry Pi 4b + USB boot Raspberry Pi OS 64bit (Docker-Mirakurun+Chinachu) ffmpeg H264_v4l2m2m HWエンコード 注意 2021年8月時点での録画サーバー構築覚書 内容を見てある程度分かる方向け 用意するもの Raspberry Pi 4b 電源とUSBケーブル（安定して5V/3Aを出せるもので） USBメモリ or USB SSD （転送速度の高速な物が良い） Plex PX-S1UD V2.0 SCM ICカードリーダー/ライター SCR3310/v2.0 B-CASカード その他 必要な方はアンテナ分配器やアンテナケーブルも。 Raspberry Pi 4b 2GB、Anker PowerPort+ 1、Amazon Basic USBケーブル（A to C ）、Tran
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
画像生成AI「Stable Diffusion」をローカル環境で実行する - パソコン関連もろもろ
AIでディープフェイクを作るFaceFusionのインストールと使い方とNSFWフィルターの解除方法
WSL2でSelf Forcingを試してみる｜noguchi-shoji
Gaussian Splattingを試す (Windows) – ft-lab
FFmpeg8.0でWhisperを使って字幕ファイルを書き出す
第886回 AIボイスチェンジャーであるSeed-VCで自分の声を変えてみよう | gihyo.jp
YouTubeのURLを投げたら字幕だけ取り出してくれるオレオレAPIをつくる
UbuntuとPT3で録画リグ構築。(MirakurunxEPGStation+SoftCas)｜CAS太郎
今更ですが、SST → LLM → TTS 連携をやってみた - Qiita
画像復元（DiffBIR，Python，PyTorch を使用）（Windows 上）
untrunc で 壊れた video file を 修復 - Qiita