[B! lora] pcrdのブックマーク

LCM LoRA の概要｜npaka

以下の記事が面白かったので、かるくまとめました。・SDXL in 4 steps with Latent Consistency LoRAs 1. はじめに「LCM」 (Latent Consistency Model) は、元モデルを別モデルに蒸留することで、画像生成に必要なステップ数を減らす手法です。25～50ステップかかっていた処理を4～8ステップで可能にします。蒸留したモデルは、より小さくなるように設計される場合 (DistilBERT、Distil-Whisperなど)と、必要なステップ数が少なくなるように設計される場合があります。これは通常、膨大な量のデータ、忍耐力、少数のGPU を必要とし、時間とコストが必要でした。しかし、それも過去の話です。 11月9日、「LCM」で蒸留したかのように「Stable Diffusion」「SDXL」を本質的に高速化できる新手法「LCM

pcrd 2023/11/25

“2. LCM LoRA の概要「LCM LoRA」のコアとなる考え方は、完全なモデルの代わりに、LoRA層と呼ばれる少数のアダプタだけを学習することです。その結果得られるLoRAは、別々に抽出することなく、ファインチューニングし

lcm
lora

リンク

大規模言語モデル(LLM)をLoRAで強化する際に役立つ情報を研究者が公開

LoRAは画像生成モデルや大規模言語モデル(LLM)に追加の情報を学習させてモデルを微調整できる仕組みです。LoRAを用いてLLMを強化する際に役立つ情報をAI研究者のセバスチャン・ラシュカ氏が解説しています。 Practical Tips for Finetuning LLMs Using LoRA (Low-Rank Adaptation) https://magazine.sebastianraschka.com/p/practical-tips-for-finetuning-llms ◆LoRAの効果には一貫性がある Metaが開発したLLM「Llama 2」をLoRAで強化した際のベンチマーク結果を示した表が以下。「LoRA defaul 1」「LoRA defaul 2」「LoRA defaul 3」はそれぞれ異なるタイミングで作成されたLoRAモデルですが、ベンチマークスコア

pcrd 2023/11/24

“大規模言語モデル(LLM)をLoRAで強化する際に役立つ情報を研究者が公開”

リンク

Practical Tips for Finetuning LLMs Using LoRA (Low-Rank Adaptation)

Low-rank adaptation (LoRA) is among the most widely used and effective techniques for efficiently training custom LLMs. For those interested in open-source LLMs, it's an essential technique worth familiarizing oneself with. Last month, I shared an article with several LoRA experiments, based on the open-source Lit-GPT repository that I co-maintain with my colleagues at Lightning AI. This Ahead of

pcrd 2023/11/20

“Practical Tips for Finetuning LLMs Using LoRA (Low-Rank Adaptation)”

リンク

SDXLでコピー機学習法を試す｜Kohya S.

はじめにコピー機学習法は、LoRAを教師画像と同様の画像しか出力されないレベルまで過学習し（コピー機と呼ばれる理由です）、そこから目的のLoRAを取り出す手法です。詳細は以下の月須和・那々氏の記事をご覧ください。今回、SDXLでコピー機学習法を試してみました。品質的にはいまひとつですが、一応成功はしましたので、設定等を共有します。学習にはsd-scriptsを利用しています。教師データとりにく氏の画像を利用させていただきます。 SDXLにおけるコピー機学習法考察（その1） ①まず生成AIから1枚の画像を出力(base_eyes)。手動で目をつぶった画像(closed_eyes)に加工（画像1枚目と2枚目） ②画像3枚目のレシピでまずbase_eyesを学習、CounterfeitXL-V1.0とマージする ③②のモデルをベースに4枚目でclosed_eyesを学習 pic.twitt

pcrd 2023/09/10

リンク

漫画未経験のエンジニアが今のAIで漫画制作にトライしてみた記録2023年夏時点版｜安野たかひろ

画像生成AIの躍進が目覚ましい。エンジニア兼SF作家の筆者としては、AIが絵を描けるようになるのなら、絵が描けない自分でも漫画制作ができるようになるのではという期待があった。実際に2022年の末頃にはstable diffusionを使った漫画制作UIのプロトタイプを作ってみたこともある。 Google ColabでAI 漫画制作用のUIを試作してみた。コマごとにプロンプトが割り当ててあって、AIが裏でたくさん選択肢を作りまくってくれる。人間が大量の絵からベストなものを選んだり、構図やセリフの調整に集中できるようなワークフローがいいのではないかという仮説 #stablediffusion pic.twitter.com/zI64zm3cNI — 安野貴博 (@takahiroanno) November 10, 2022 それから半年以上の月日が経ち、世の中でもMulti ControlNe