[ AI Art ] - stable diffusion 討論 分享 01

你有無試過Dreambooth trained 出黎既 checkpoint,自家train 既Lora 同Textual inversion 一齊用？

呢個係用20 repeats, 15 epoch, 7e-5 LR得出來既圖
係用舊版生化危機D圖 train,唔係RE引擎果隻,所以出來隻人好似以前ps2年代D model咁

原圖


唔建議用一個epoch係因為你之後可以慢慢簡用邊個epoch既result,咁你就唔洗因為overtrained又要重新train過,例如我上面其實係用第7定唔知第8個epoch,因為我試哂15個之後發覺只要一去到9以上就開始改唔到背景, 而衫因為我個finetune我唔想郁到生化3果身行頭所以set死左只要一用某個prompt就用返生化3果套衫,


例如呢種就係overtrained,因為我set左背景係海灘,但因為有幾張相其實背景係間酒店房,overtrained令到酒店房個背景污染左張圖, 所以就會出現一半沙灘一半酒店房呢D奇怪現像,如果眼利D會睇到gen出來個人都開始蒙蒙地,D色都開始怪怪地

TI原理只係改隻字嘅embedding， 令到佢嘅vectors指到去最接近答案嘅位置，好難做到樣呀果啲準確。依家啲人多數用黎做negative prompt。

me too 有冇巴打幫手

epoch = 一個週期
假設你15張圖,repeat 100
即係一個週期=1500步
十個週期就=15000步
而你要定既只係每個週期有幾多步就夠

如果你用一個epoch定生死,你個learning rate配合個總步數出到來岩岩好就冇問題

問題係你想要既效果除左learning rate有得用人之外其他都係未知數
假設你其實1000就達到最佳步數
咁你就可以每張圖set 10 step
行十個epoch
然後會有十個唔同epoch既lora,用xy plot哂 load出來比較

當然條數就唔係exactly 1000果個epoch就係完美,
而係你有能力選擇一個比較適合既lora來

我慢慢消化下個 rationale
想問下大師， train 女神換衫圖，究竟 train 女神大頭 ，定要加d全身圖？

我就train開全身半身
大陸仔而家好似就用大頭,然後用大量regulation去污染張圖(未玩過)

如果你只train大頭,你換到衫都好但因為個dataset缺乏全身/半身圖,畫出來個樣會好怪,可能用restored face會好d,但我train親果d一用restored face就唔似
建議先用uppet body去試下train半身換唔換到衫先
換衫你要做finetuneing

你係咪用Kohya_ss 既dream booth ?

係,不過用stable diffusion都係一樣係咁,係介面唔同,識既variable都係識,唔識既都係唔識

多謝上面 d hints
已經幫左我好多
不過我epoch set 15
Repeat 就110
160張相

要 train 成23 hours … 正唔正常？

大師，想請教你會 train 512x512 定768x768?
想問 train v2 checkpoint 同stable diffusion 1.5 兼唔兼容？

你160張相wo...
剩一個epoch都講緊一萬七千幾
15個epoch講緊廿幾萬步,要train一日係好正常

但首先你係咪用160張相train一個concept先...老實講先唔講你成品係點
因為入面涉及一D難掌握既原素,例如你D圖係咪「有用」,你既learning rate,你既prompt, 係咁多不穩定因素就去train廿幾個鐘我個人覺得係唔「抵」

我會建議你抽30張出來,慢慢tune個learning rate (例如yt教學用既1e-5,或者而家大陸仔用既7e-5),先以總步數大概4000-6000內可以完成一個concept(我3060ti 512*768既相大概兩個鐘可以有野睇), 可以做一個汎用既LoRA(可改元素,可以套入大路既checkpoint)出來,先再去慢慢逐個version慢慢上,我係C站擺過一個version1既圖,我都見人可以gen得好靚,反而我自己就唔識點gen靚圖,但其實一D靚既concept大家都係慢慢砌個version上去,唔好一來就all-in,如果唔係你練多幾次就唔想練

呢樣睇你張卡食到幾多
v2我睇過教學同1.5唔兼容,不過而家每日都有新野我都唔係好識,但聽講v2要高配置D,咁要睇你用咩來練,我會建議先用1.5上手先

我開頭用512*512, 呢個比例有度唔好係好難gen一張cowboy shot既圖,
但你話剩係出半身,出頭像我覺得應該冇問題,而且有度好512*512 比512*768快,512*768應該就gen到而家順眼既portrait圖咁囉,我而家都用呢個比例去試緊

多謝大師你呢個tip
有多d野諗到就話我知


我都係 train 女神換衫相
我有crop 大頭同全身相 (同一張，有 crop 同無 crop)

https://jpf-reddit.netlify.app/r/StableDiffusion/comments/12iep87/segment_anything_controlnet_stable_diffusion/

又有新玩具

想請教大師learning rate implies 乜野？越慢越仔細？ eg 1e-5 vs 7e-5

我會建議你主力train一樣, 例如你想換衫建議你以半身圖為主,頭像/全身圖為副, 個prompt最好半身都打upper body,咁當你gen圖打upper body就會容易出半身圖
然後因為你係要換衫,最好每張相既衣服都有唔同,背景都有分別, 如果你30張圖都係用一件衫,AI就會認定你train個concept係連埋套衫

我之前既經驗係因為隻驚D女得水著,所以bare shoulders, breasts, cleavages,navel呢D既concept就會好容易「跟住」個角色,即使換到衫,weight一高既情況下明明著緊件包到實一實都會波gap出來,所以簡圖其實先係最重要既一part

多謝大師提點，variety !

了解多D建議真係去discord, reddit D大佬懶人包
我之前都係死用一種以為自己覺得冇問題既dataset,但出來既效果都唔得

有無咩discord推薦

Reddit 無乜野睇，其實stable diffusion 唔太 popular

你講笑? so popular there.
https://www.reddit.com/r/StableDiffusion/

from HK brother?
https://www.reddit.com/r/StableDiffusion/comments/12i9qr7/i_transform_real_person_dancing_to_animation/

好耐先一個post ja