はてなブックマーク

本家本元のRVC-betaというRVC WebUIをWinslows環境にインストールして、モデルのトレーニングや音声変換（推論）を行う方法をわかりやすく、画像を多数使用して丁寧に解説します。 本家は中国語ですが、現在は日本語化が進んでおり、ほぼ不自由なく扱えます。 追記:今はもうVALL-E-Xの方が手軽。声の学習と音声合成の合計所要時間が10秒とかいう頭おかしいレヴェルで高速。 テキストを任意の声で音読してほしいなら、現状これがベスト。 TTS(Text-To-Speech)の最高峰。

2.起動してみる automaticフォルダ内のwebui.batを実行します。 ここは少し本家と違いますね。 実行すると、自動でvenvを作成し環境構築するので特に操作はありません。 ただし、モデルが1つも無い時はモデルのダウンロードをするか聞かれるので、そこは回答必須です。 Available models: C:\Users\loveanime\Desktop\test\automatic\models\Stable-diffusion 0 Download the default model? (y/N) ちなみに、モデルが1つも無いと勝手に終了します。 URLが表示されたらアクセスするのは同じですね。 （URLがずいぶん上の方に表示されるので一回見失いました） UIはなんか洗練されてます！！！

従来のso-vits-svcと比較して、 約50倍速で同等の品質の学習モデル作成ができるRVC！！ WindowsにRVC WebUI（ddPn08/rvc-webui）を導入し、好きな声のモデルを学習により作成し、音声変換するまでの一連の流れを画像付きで丁寧に解説します。 なお、中国の本家版でなくだだっこぱんだ氏が再構築された方のRVC WebUIを紹介しています。 （本家：yantaisa11/Retrieval-based-Voice-Conversion-WebUI） どんなことができる？ 従来のSO-VITS-SVCで100分かけて作ったモデルと同等の品質のものが、2分ちょいでできます。 音声変換は音声の長さの等速～1.5倍速くらいの所要時間でできます。

検証対象の箇所 https://wikiwiki.jp/sd_toshiaki/LoRA#x5a23f01のバッチファイルを使わせていただいていますが、ポップアップGUI版でも限界は同じです。 あくまでもLoRAを実行するにあたって、各種設定を入力するのがGUIかバッチファイルに書き込むのかのか違うだけで、実行対象となるハードウェアやプログラム自体は共通なため。 関係があるかわかりませんが一応書いておくと、学習設定は 学習元画像12枚 正則化画像12枚透明PNG 繰り返し5 epoch1 dim=64 です。 最大解像度とバッチサイズが知りたいだけなので、epoch1でご勘弁ください。 また、今後のアプデなどで今の結果が通用しなくなったり、試行回数が1回ゆえのハズレ値を取り上げたりしている可能性をご了承ください。 rem ==================================

セットアップを行う 適当なフォルダ（ここでは「Free」という名前にしました）内にインストールしていくので、 まずは適当な名前のフォルダを作成します。 そのフォルダ内で右クリック→ターミナルで開くをクリック。 以下のコマンドでリポジトリをダウンロードします。 git clone https://github.com/ohmplatform/freedom-gpt-electron-app/ 続いて、alpaca.cppのWindows用をダウンロードします。 zipファイルを展開して、中身を全て「freedom-gpt-electron-app」フォルダ内に移動します。 最後に、「ggml-alpaca-7b-q4.bin」をダウンロードし、同じく「freedom-gpt-electron-app」フォルダ内に配置します。 これで準備完了！！ 後は「chat.exe」をダブルクリックして起

煩雑なインストール、複雑なディレクトリ構成、フォルダ名の命名規則などの面倒から解放！！ 「sd-webui-train-tools」を用いて、WebUI（1111）上でLoRA学習ができました！！

1. 必要なものをインストール Pythonが使える状態にして、下の2つをインストールしましょう。 pip install transformers sentencepiece pip install sacremoses 2. 実際に動かしてみる 今回はHuggingFace公式通り、pipelineを使います。 英語→日本語翻訳を行うコード from transformers import pipeline input_text = """Kyoto is one of the tourist destinations where you can feel the traditional culture of Japan. There are many famous shrines and temples, and you can enjoy the beautiful scenery

画像から姿勢・セグメントを抽出し出力画像に反映させるcontrolnetには、姿勢・セグメント認識処理の種類が複数あるため、各Preprocessorの特徴を知ると用途に応じて適切に使い分けることができるようになります。 ControlNet ver1.1に伴い大幅な加筆修正を行いました。 Preprocessorが20以上増加したため、ページが大変長くなってしました。 ここではt2i用モデルのみ実演しています。i2i用のInpaint系はノータッチです。 ご了承ください なお、v1.1用モデルはこちらからダウンロードしてください。 fp16,safetensors版で問題ありません（723MBくらいのやつ) モデル配置場所はこちらです。

Stable Diffusion web UI(AUTOMATIC1111)の拡張機能（Extension）「ControlNet」をインストールし、姿勢を棒人間や実写・二次元画像、3D デッサン人形などから指定して画像を生成する方法を解説します。 また、各種設定項目の解説と実際にやってみた所感を記しました。 うまくいくとこのくらいの精度で姿勢を制御できます。 以下の出力2枚、プロンプトは完全に同一です。 もはや言葉でhands upとか書かなくて良い時代！！！

AI系WebUIの統合管理「Super Easy AI Installer Tool」 次のようなWebUIをワンクリックでインストール・更新・アンインストールできるWebUI系プロジェクトの一括管理ソフトです。 コマンドをコピペしてインストールする時代は終わりました。 Automatic1111 webui ComfyUI Text generation web UI Bark-gui Whisper-ui Lama Cleaner InvokeAI Kohya’s GIJI Vladiffusion-A1111 fork Stable Diffusionweb UI-UX A1111 fork Auto-GPT Stable Karlo Kandinsky2.1 -webui Ckpt2Safetensors-Conversion-Tool-GUI Stable-Diffusion-P

Windows環境でkohya版のLora(DreamBooth)による版権キャラの追加学習をsd-scripts行いWebUIで使用する方法を画像付きでどこよりも丁寧に解説します。また、おすすめの設定値を備忘録として残しておくので、参考になりましたら幸いです。 このページで紹介した方法で作成したLoraファイルはWebUI（1111）で使用することができます （WebUIでLoraファイルを使用する方法も解説します） コマンドライン版とポップアップGUI版がありますが、ここではsd-scriptsに直に設定値を入力して使用する手順を解説します。 (ポップアップGUIのスクリプトが、LoRAのアプデに追いつかなくなるリスクがあるので、昔はGUIでの手順を解説していましたが、現在はsd-scriptsに直接各種パラメーターを渡す方法を解説しています)

となったので検証前に、Denoising strength（ノイズ除去度）を実演しました。 これがDenoising strength（ノイズ除去度）：0.2時のアップスケーリングです。 0.2 0.7だと以下の通り。 0.7 0.7の方が滑らかにアップスケールされています。 最も、0.2の画像もそういうコンセプトと思えば結構お洒落ですよね！！ アップスケールで高精細・緻密な書き込みという本記事の目的から外れてしまいますが、画像生成の出力の幅を増やすこともできる素晴らしい機能ですね！？ Hires. fixはざっっっっくり言い表すと、 低解像度(768×512とか)で出力された画像を1.5倍とかに引き伸ばした画像に対するimage2imageです。 この引き伸ばした画像にどの程度ノイズを載せたかでアップスケーリング後が大きく変わるってわけです。 １，検証条件 生成時のパラメーター (mas

１，そもそもckpt形式のモデルファイルはどのようにデータを保存していたのか safetensors形式はckpt形式の様々な欠点の改善を目的として作られたデータ保存方法であり、HuggingFaceが主導しています。 そのため、safetensorsの利点を説明するにはまず従来のckptで何がアカンかったのか、ckptのデータ保存方法から読み解く必要があります。 .ckpt拡張子とpickleの関係 画像生成AI関連のモデルでよく目にする.ckptという拡張子は、「pickle」というPythonのモジュールを用いて直列化して保存されたデータに用いられる拡張子です。 データを直列化（バイト列に変換する）ことを「pickle化」・「ピクル化」と呼びます。 逆に、バイト列からデータを復元することを「非pickle化」「非ピクル化」といいます。 pickleモジュールを使って、例えば以下のよう

Stable Diffusion WebUI(AUTOMATIC1111)の全20種類のサンブラーで5〜150steps,サンプラー以外の条件を同一にした複雑な画像を生成することで、各サンプラー（sampler）がstepごとにどの程度書き込まれるのか検証しました。 追記：「UniPC」という新サンプラーが登場したので、検証対象を全20種類に変更。 １，検証条件 検証対象となったサンプラー Euler a,Euler,LMS,Heun,DPM2,DPM2 a,DPM++ 2S a,DPM++ 2M,DPM++ SDE,DPM fast,DPM adaptive,LMS Karras,DPM2 Karras,DPM2 a Karras,DPM++ 2S a Karras,DPM++ 2M Karras,DPM++ SDE Karras,DDIM,PLMS,UniPC 今回はこれら20のサンプ

Stable Diffusion系列のファインチューニングモデル（.ckpt）ファイルのダウンロードリンク一覧と、ぞれぞれのモデルの概要をサンプル画像付きでまとめました。有名どころのモデルファイルはだいたい網羅しております。 階層別マージモデルも含めWaifu Diffusion・Abyss・7th layer・chillout mixなど最新のものを掲載しています。 基本的に日本語圏で需要の多いモデルに絞って紹介しています。 ここで紹介しているモデルをマージ（モデル混合・配合）をするやり方はこちらを参照してください。。