[WebUI] Stable DiffusionベースモデルのCLIPの重みを良いやつに変更する
簡単な記事なので前置きは省略します。 CLIPについて Stable Diffusionベースのモデルは、画像生成に際してテキストで条件づけを行う（a.k.a. txt2img）場合、CLIPという基盤モデルでテキストをベクトルに変換し、生成処理に渡しています。 つまり、入力したテキストをいかに的確に生成処理のモデルに伝えられるのかはCLIP（のようなテキストエンコーダー）の性能にかかっているわけですが、実はStable Diffusionに組み込まれているCLIPは、CLIPの中でも最強性能のものではありません。 適当に、画像のグラフに登場する点はそれぞれCLIPのバリアントで、上にあるモデルほど性能がいいと考えてください。 ここで、Stable Diffusion V1系に組み込まれているCLIPはL/14ですが、CLIPの中で最も性能の良いL/14@336pxに一歩遅れをとっているこ
![[WebUI] Stable DiffusionベースモデルのCLIPの重みを良いやつに変更する](https://cdn-ak-scissors.b.st-hatena.com/image/square/7df006578907152b77065cb317ae26f4b3a1187d/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--9jqCK8Sq--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BWebUI%25255D%252520Stable%252520Diffusion%2525E3%252583%252599%2525E3%252583%2525BC%2525E3%252582%2525B9%2525E3%252583%2525A2%2525E3%252583%252587%2525E3%252583%2525AB%2525E3%252581%2525AECLIP%2525E3%252581%2525AE%2525E9%252587%25258D%2525E3%252581%2525BF%2525E3%252582%252592%2525E8%252589%2525AF%2525E3%252581%252584%2525E3%252582%252584%2525E3%252581%2525A4%2525E3%252581%2525AB%2525E5%2525A4%252589%2525E6%25259B%2525B4%2525E3%252581%252599%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E5%25258B%252595%2525E8%2525A9%25259E%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzYxZGFhYmYzMjMuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
商用でも利用可能なAI音声合成ソフトウェア『VOICEVOX』がオープンソースとして無料でリリース｜DTMステーション
本日8月1日、音声合成技術の世界に、また画期的な動きがありました。「Seiren Voice」や「Yukarinライブラリ」の開発者としても知られるヒロシバ（@hiho_karuta）さんが、ITAコーパスを利用した商用利用も可能なAI音声合成システム、VOICEVOXなるソフトウェアをオープンソースのとして無料でリリースしたのです。具体的には現時点Windowsで動くシステムで、「ずんだもん」および「四国めたん」の声でテキストを読み上げるシステムとなっています。 これがオープンソースとなったことで、一般ユーザーが自由に利用できるというだけでなく、さまざまなシステムに組み込んで喋らせることが可能になったのが画期的なところ。たとえばロボットなどに組み込んで対話型のシステムを作ることや、観光案内システムに導入して喋らせる……といったこともできるほか、クラウド型のシステムを構築し、ブラウザを経由
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
VOICEVOX | 無料のテキスト読み上げ・歌声合成ソフトウェア
