経験から学んだ私的LORA作成術｜akiraU学習の中身がそこそこブラックボックスなので、どんな設定がいいかは理屈がじゃなくて経験と勘頼り。 過去の経験を鑑みて、最近のLORA設定で気にしていることいくつか紹介してみます。 ・学習の基本は「学習率低め、STEP数は多め」 学習率は1e5～1E7ぐらいを使っています。 STEPは5000～1万でいいところを探る感じ。 デフォの1e3とか1e4で学習すると、画像がガビりやすいです。 またガビらないケースでも、他のLORAと同時に使うとすぐガビってしまい同時使用が難しくなりがち。 低学習率でSTEPを重ねたものの方が、複数LORAの併用に対応しやすい印象です。 -------------------------------------------------------- ※23/8/4 追記 最近はalpha=1で学習率1e4が多いです。あまりガビりません。 この記事を書いたときは「Ada
