SD1.5系のときはすごい過学習すると言われて持て余されてたProdigyオプティマイザー SDXLになってとても早くLoRAが出来上がるということで脚光を浴びた そこで推奨してるスケジューラーがスケジューラーを使わないconstantかCosineAnnealing constantはいいとしてCosineAnnealingLRはsd-scriptsのデフォルトで入ってないからじぶんで対応する必要があるし挙動を理解するのが手間だった 使い方 bmaltais/kohya_ssを使ってるのでAdditional parametersのところに下記を入力 --lr_scheduler_type "CosineAnnealingLR" --lr_scheduler_args "T_max=500" "eta_min=0e-0" 挙動 テキストエンコーダーの学習率の例 設定したlrを頂上として開

メリークリスマス！🎄 この記事はMisoca+弥生 Advent Calendar 2019の25日目です。 qiita.com 最終日の記事は、初日から24日ぶり2回目となる黒曜(@kokuyouwind)がお送りします。 💎 Ruby 2.7 will be released! ついに本日、Ruby 2.7 が正式リリースされますね！ Misocaでは id:eitoball の尽力により、すでにRuby 2.7対応のPull Requestがマージ待ちの状態です。年末までにリリースするかは未定ですが、遅くとも年明け最初の週にはリリースできると思います。 また、アドベントカレンダー初日に書いたActivePattern gemとMethodMatchable gemも、Ruby 2.7.0がリリースされたら合わせてバージョンを上げる予定です。 Experimentalな機能とはいえ