LoRA Training Parameters - Subject vs Style Training Differences (2025)

मैंने यह समझने से पहले कि subject और style LoRAs को completely different approaches की आवश्यकता है, तीन सप्ताह wrong parameters के साथ LoRAs train करने में बर्बाद किए। Character LoRA के लिए style training settings use किया और एक model मिला जो character को मुश्किल से recognize करता है लेकिन weird artistic filters apply करता है। Style LoRA के लिए subject settings use किया और यह output style को मुश्किल से affect करता है।

Parameter differences कहीं भी clearly documented नहीं हैं। आप या तो trial और error के माध्यम से working settings पर stumble करते हैं या किसी से settings copy करते हैं जिसने इसे पहले ही figure किया है। यहाँ बताया गया है कि प्रत्येक type के लिए वास्तव में क्या मायने रखता है।

त्वरित उत्तर: Subject LoRAs (characters, objects, specific people) को lower learning rates (0.0001-0.0003), more training epochs (15-30), higher network dimension (32-128), और identity capture करते समय flexibility allow करने के लिए diverse pose/angle training data की आवश्यकता है। Style LoRAs (artistic styles, aesthetics, techniques) को higher learning rates (0.0003-0.0008), fewer epochs (5-15), lower network dimension (16-64), और content को overfit किए बिना artistic patterns सीखने के लिए consistent style examples की आवश्यकता है। Subject training feature consistency को prioritize करता है, style training pattern abstraction को prioritize करता है। आपके LoRA type के लिए wrong parameter sets use करना weak, overfitted, या ineffective results produce करता है।

Fundamental Difference को समझना

Parameters में dive करने से पहले, समझें कि आप वास्तव में प्रत्येक LoRA type के साथ क्या achieve करने की कोशिश कर रहे हैं।

Subject LoRAs model को specific identities recognize और reproduce करना सिखाते हैं। एक character का face, एक particular person, एक unique object design, एक specific location। Goal है "यह exact thing" pose, angle, या context की परवाह किए बिना। आप चाहते हैं कि model subject को correctly identify करे जबकि इसे depict करने के तरीके में flexibility maintain करे।

Style LoRAs model को artistic patterns और techniques सिखाते हैं। एक painter की style, एक animation studio की aesthetic, एक photography technique, एक rendering approach। Goal है किसी भी subject पर applied "इस type का visual treatment"। आप चाहते हैं कि model different content पर apply करते समय style essence सीखे।

Training tension completely differs करता है। Subject LoRAs को specific features memorize करने चाहिए जबकि बाकी सब कुछ generalize करना चाहिए। Style LoRAs को patterns abstract करने चाहिए जबकि specific subjects memorize करने से avoid करना चाहिए। ये opposing requirements opposite parameter strategies demand करती हैं।

Philosophical difference को समझना explain करता है कि parameters क्यों diverge करते हैं। आप same training framework के साथ different problems solve कर रहे हैं।

Learning Rate - Make या Break Parameter

Learning rate वह है जहाँ अधिकांश training failures होती हैं। Right range पूरी तरह से LoRA type पर निर्भर करती है।

Subject LoRA learning rates typically 0.0001 से 0.0003 range में sit करती हैं। Lower rates model को specific poses या compositions को overfit किए बिना identifying features को slowly सीखने देती हैं। Gradual learning "इस character को क्या recognizable बनाता है" capture करता है rather than "यह exact image"।

Subject training के लिए 0.0002 पर start करें। यदि full training के बाद LoRA बहुत weak है, तो next attempt के लिए 0.00025 तक increase करें। यदि यह overfitting है (केवल training poses में काम करता है), तो 0.00015 तक decrease करें। Adjustments small हैं क्योंकि range narrow है।

Style LoRA learning rates 0.0003 से 0.0008 तक run करती हैं, अक्सर subject rates से higher। Styles patterns हैं जिन्हें base model के defaults को override करने के लिए stronger influence चाहिए। Too low और style barely apply होता है। Higher rate style patterns को excessive epochs की आवश्यकता के बिना imprint करने देती है।

Style training के लिए 0.0005 पर start करें। यदि style बहुत subtle है, तो 0.0006 या 0.0007 try करें। यदि आप style abstraction के बजाय content memorization पा रहे हैं, तो 0.0004 तक drop करें। Range wider है क्योंकि style training exact values के लिए less sensitive है।

Learning rate THE parameter है जो आपके LoRA type से match होना चाहिए। इसे wrong करें और other parameters tweaking की कोई amount training salvage नहीं करती।

निष्कर्ष

LoRA training में success समझने से आती है कि आप क्या achieve करने की कोशिश कर रहे हैं, appropriate training data curate करना, अपने goal से matching parameters set करना, और results के आधार पर iterate करना। Subject versus style distinction foundational split है जो बाकी सब कुछ determine करता है। इसे right करें और rest naturally follows करता है।