[WebUI] Stable DiffusionベースモデルのCLIPの重みを良いやつに変更する
簡単な記事なので前置きは省略します。 CLIPについて Stable Diffusionベースのモデルは、画像生成に際してテキストで条件づけを行う（a.k.a. txt2img）場合、CLIPという基盤モデルでテキストをベクトルに変換し、生成処理に渡しています。 つまり、入力したテキストをいかに的確に生成処理のモデルに伝えられるのかはCLIP（のようなテキストエンコーダー）の性能にかかっているわけですが、実はStable Diffusionに組み込まれているCLIPは、CLIPの中でも最強性能のものではありません。 適当に、画像のグラフに登場する点はそれぞれCLIPのバリアントで、上にあるモデルほど性能がいいと考えてください。 ここで、Stable Diffusion V1系に組み込まれているCLIPはL/14ですが、CLIPの中で最も性能の良いL/14@336pxに一歩遅れをとっているこ
![[WebUI] Stable DiffusionベースモデルのCLIPの重みを良いやつに変更する](https://cdn-ak-scissors.b.st-hatena.com/image/square/36d937c505d824b61dc22c8b8e7486141cf8119c/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--KHl7erPG--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BWebUI%25255D%252520Stable%252520Diffusion%2525E3%252583%252599%2525E3%252583%2525BC%2525E3%252582%2525B9%2525E3%252583%2525A2%2525E3%252583%252587%2525E3%252583%2525AB%2525E3%252581%2525AECLIP%2525E3%252581%2525AE%2525E9%252587%25258D%2525E3%252581%2525BF%2525E3%252582%252592%2525E8%252589%2525AF%2525E3%252581%252584%2525E3%252582%252584%2525E3%252581%2525A4%2525E3%252581%2525AB%2525E5%2525A4%252589%2525E6%25259B%2525B4%2525E3%252581%252599%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E5%25258B%252595%2525E8%2525A9%25259E%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzYzODRjMTUxOGYuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
機械学習モデルのアプリケーションへの統合を容易にする Cloud Spanner 向け Vertex AI インテグレーション | Google Cloud 公式ブログ
機械学習モデルのアプリケーションへの統合を容易にする Cloud Spanner 向け Vertex AI インテグレーション ※この投稿は米国時間 2022 年 11 月 19 日に、Google Cloud blog に投稿されたものの抄訳です。 Cloud Spanner は、業界トップクラスの整合性と可用性を環境の規模を問わずに実現するフルマネージド リレーショナル データベースです。金融サービス、小売、ゲームなどの業界では、あらゆる規模の組織が Spanner によってミッション クリティカルなアプリケーションを実行していますが、基幹業務アプリケーションを効率的に実行するだけでは不十分な場合が少なくありません。こうした組織は、手動による対策に頼るのではなく、機械学習（ML）モデルを活用して、ビジネス イベントやお客様のイベントに迅速かつスケーラブルな方法で対応したいと考えています
上智大｢データサイエンス特化大学院｣新設の理由 | 上智大学 | 東洋経済オンライン
2023年4月、上智大学大学院に修士課程「応用データサイエンス学位プログラム」が誕生する。社会人や学部卒業生など多様な人材を対象に、2年間の集中的なカリキュラムを提供し、データサイエンスの知識を身に付けた即戦力の育成を目指すという。さまざまなデータを取得・分析・活用する取り組みが社会のスタンダードとなっている現代において、データサイエンスに特化した大学院を新設する狙いとは。曄道佳明学長、大学院で教壇に立つ理工学部情報理工学科の矢入郁子准教授、RPAやAIを基盤とした自動化プラットフォームを提供するUiPathのエバンジェリストで、非常勤講師を務めるテランドロ トマ氏の3名に語ってもらった。 曄道 データ駆動型社会の到来に向けて社会基盤が劇的に変化する中、データサイエンスの知識を積極的に活用し、現代社会における多様な課題の解決に取り組める人材の育成が急務だと考えたからです。社会のあらゆる分野
データサイエンスの学びに真打ち、一橋大学の強みと弱み ニュースイッチ by 日刊工業新聞社
一橋大学は２０２３年度開設のソーシャル・データサイエンス学部で、社会科学とデータサイエンス（ＤＳ）をほぼ同等に学ぶカリキュラムを構築した。経営・経済学系だけでなく法・政治学系にも目配りをした科目配置は珍しい。演習に日銀や世界銀行、兼松、トヨタ自動車、Ｓａｎｓａｎなど約２０機関が協力の予定。約３件の共同研究や、企業向けリカレント（学び直し）教育も検討中だ。 一橋大学の新学部生は１年次から社会科学と、統計、情報、プログラミングのデータサイエンス（ＤＳ）を学ぶ。選挙結果分析など「政治学とＤＳ」、自然言語処理を使った紛争解決の記録文書のテキストマイニングなど「国際政治とＤＳ」といった科目もある。「ソーシャルＤＳの法と倫理」は必修で、他大学ＤＳ学部にはない学びが目に付く。 社会科学とＤＳを融合する３年次の課題解決型学習（ＰＢＬ）は、２５年度開講でデータ提供元の専門家も指導に入る。日銀の金利や為替レー
クリスタ、画像生成AIを試験導入へ 「Stable Diffusion」が作画補助 「AIと創作活動の共存を模索」
この機能の活用例として、イラストや漫画、Webtoonの背景や簡易的なデザインなどの生成を想定している。同機能のAIモデルには、画像生成AI「Stable Diffusion」を利用。提供元の英Stability AIが提供している状態で実装し、セルシスは学習のためのユーザーデータを一切提供せず、ユーザーの同意なしにデータの収集・利用はしないという。 画像生成AIパレットによって生成した画像と、画像生成時に入力したプロンプトは全てアーカイブし、専用ページで個人が特定できない形で公開する。アーカイブするのはAIによって生成した時点の画像のみ。生成した画像に編集を加えたデータや、生成した画像を使った作品はアーカイブしないとしている。 今回の機能導入は、2023年3月にリリースする「CLIP STUDIO PAINT Ver.2」に搭載する前の先行試験として行う。同社は「クリスタは、創作活動をよ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
