text-generation-webui の LoRAファインチューニングのパラメータ調整ガイド｜npaka
以下の記事で紹介されている、LoRAファインチューニングのパラメータ調整ガイドがわかりやすかったので、簡単にまとめました。 ・Training Your Own LoRAs 前回 1. VRAMはじめに、「VRAM」を考える必要があります。 ・一般に、デフォルトパラメータを使用した学習でのVRAM使用量は、デフォルト設定で (1000以上のコンテキストトークンを含む) テキストを生成する時とほぼ同じになります。つまり、テキストを生成できれば、LoRAを学習できます。 ・VRAMに余裕がある場合は、より高い「batch size」を設定すると、より多くのVRAMが使用され、その代わりに学習の質が向上します。 ・データが大きい場合は、「cutoff length」を高く設定すると効果的ですが、VRAMが大幅に消費されます。余裕がある場合は、「batch size」を「1」に設定し、「cutof
「AIの使い方はこうでなくっちゃ」学習元の個性が強すぎるAIグラビアアイドル画像が意外と癖に刺さる
骨しゃぶり @honeshabri 読書系ブロガー | 本と何かを結びつけた記事を書くのが得意 | 週プレで「文化史ぜんぶ読む」連載中 | 実況アカ @honeshaberi | マシュマロ marshmallow-qa.com/honeshabri | 記事執筆を依頼は→ bit.ly/2JcnxuQ | Amazonアソシエイト参加者 honeshabri.hatenablog.com 骨しゃぶり @honeshabri これでAIグラビアアイドルも4体作ったことになるのでまとめ。次はどうするかな。データが豊富そうで、四肢を持つ、毛が生えていない生物が望ましいのだが。 #StableDiffusion pic.twitter.com/gOdnj2zYH6 2023-06-18 20:45:42
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
p1 : LLM-based code completion engine at the edge · ggml-org/p1 · Discussion #1
