今回はAlibabaの研究チームによって開発された英語以外の文字を生成できるAIモデル、AnyTextを動かしてみます。 AnyTextとは Alibabaグループによって開発された、文字も生成できる画像生成モデルです。Stable Diffusion 1.5をベースに作られていて、プロンプトで指示をすれば英語、中国語、韓国語、日本語で文字を生成できるのが特徴です。下のような画像たちが生成できるそうです。 この図はAnyTextの仕組みです。この研究とStable Diffusion 1.5の繋ぎこみは図中のText Control Netによって行われているようです。 動かしてみる Huggingfaceデモ Huggingfaceに公式がデモを用意してくれているのでそれを触ってみます。 プロンプトを書いて、 今回は「日本語学習中」と書かれた黒板の前に立つアライグマを生成してみます 文字
![【AnyText】文字も生成できる画像生成AIを動かしてみる](https://cdn-ak-scissors.b.st-hatena.com/image/square/afa4c21e0ff10621c28d3a4fc1378f553909a6aa/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs---vQ__ZgZ--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%2525E3%252580%252590AnyText%2525E3%252580%252591%2525E6%252596%252587%2525E5%2525AD%252597%2525E3%252582%252582%2525E7%252594%25259F%2525E6%252588%252590%2525E3%252581%2525A7%2525E3%252581%25258D%2525E3%252582%25258B%2525E7%252594%2525BB%2525E5%252583%25258F%2525E7%252594%25259F%2525E6%252588%252590AI%2525E3%252582%252592%2525E5%25258B%252595%2525E3%252581%25258B%2525E3%252581%252597%2525E3%252581%2525A6%2525E3%252581%2525BF%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_34%3A%2525E3%252581%252586%2525E3%252581%25259F%2525E3%252581%25259F%2525E3%252581%2525AD%252520%25252F%252520Masaki%252520Otsuki%252Cx_220%252Cy_108%2Fbo_3px_solid_rgb%3Ad6e3ed%252Cg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2ZjZjY5YTdmZDIuanBlZw%3D%3D%252Cr_20%252Cw_90%252Cx_92%252Cy_102%2Fco_rgb%3A6e7b85%252Cg_south_west%252Cl_text%3Anotosansjp-medium.otf_30%3AneoAI%252Cx_220%252Cy_160%2Fbo_4px_solid_white%252Cg_south_west%252Ch_50%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzI0YWUxMzI3YzguanBlZw%3D%3D%252Cr_max%252Cw_50%252Cx_139%252Cy_84%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)