SD 3.5 Large LoRA स्थानीय प्रशिक्षण - संपूर्ण गाइड

आप Stable Diffusion 3.5 Large के लिए LoRA प्रशिक्षित करना चाहते हैं लेकिन मॉडल का आकार इसे उपभोक्ता हार्डवेयर पर चुनौतीपूर्ण बनाता है। SDXL की तुलना में बेहतर आर्किटेक्चर आकर्षक है, लेकिन प्रशिक्षण के लिए पेशेवर GPUs की आवश्यकता लगती है। सही कॉन्फ़िगरेशन के साथ, आप RTX 4090 और समान कार्डों पर गुणवत्तापूर्ण SD 3.5 Large LoRAs प्रशिक्षित कर सकते हैं।

त्वरित उत्तर: SD 3.5 Large LoRA स्थानीय प्रशिक्षण के लिए आक्रामक मेमोरी अनुकूलन की आवश्यकता होती है जिसमें gradient checkpointing, मिश्रित परिशुद्धता BF16, 8-बिट ऑप्टिमाइज़र और 512x512 प्रशिक्षण रिज़ॉल्यूशन शामिल है। 24GB VRAM वाले RTX 4090 पर, batch size 1 के साथ gradient accumulation, network rank 16-32, और characters के लिए लगभग 1500-2500 steps या styles के लिए 3000-4000 का उपयोग करें। डेटासेट और सेटिंग्स के आधार पर प्रशिक्षण में 1-3 घंटे लगते हैं।

SD 3.5 Large SDXL से अलग आर्किटेक्चर का उपयोग करता है जिसमें कई टेक्स्ट एन्कोडर और बड़ा DiT backbone है। यह बेहतर आर्किटेक्चर बेहतर परिणाम देता है लेकिन प्रशिक्षण हार्डवेयर से अधिक मांग करता है। आइए उपभोक्ता GPUs पर काम करने वाले प्रशिक्षण को कॉन्फ़िगर करें।

SD 3.5 Large प्रशिक्षण को क्या अलग बनाता है?

आर्किटेक्चर को समझना आपको प्रशिक्षण को अनुकूलित करने में मदद करता है।

मॉडल आर्किटेक्चर

SD 3.5 Large SDXL के दो के बजाय तीन टेक्स्ट एन्कोडर का उपयोग करता है। CLIP-L, CLIP-G, और T5-XXL टेक्स्ट समझ प्रदान करते हैं।

अकेले T5-XXL एन्कोडर पिछली पीढ़ी के संपूर्ण मॉडलों से बड़ा है। प्रशिक्षण के दौरान तीनों एन्कोडर लोड करने से महत्वपूर्ण VRAM खपत होती है।

डिफ्यूज़न backbone SDXL के UNet की तुलना में अधिक पैरामीटर के साथ DiT आर्किटेक्चर का उपयोग करता है। यह गुणवत्ता लाभ प्रदान करता है लेकिन प्रशिक्षण मेमोरी आवश्यकताओं को बढ़ाता है।

मेमोरी आवश्यकताएं

बिना अनुकूलन के पूर्ण परिशुद्धता पर, SD 3.5 Large प्रशिक्षण को 50GB+ VRAM की आवश्यकता होती है। यह सभी उपभोक्ता कार्डों से अधिक है।

अनुकूलन के साथ, 24GB संभव हो जाता है लेकिन हर उपलब्ध मेमोरी-बचत तकनीक की आवश्यकता होती है।

कई टेक्स्ट एन्कोडर को प्रशिक्षण के दौरान ऑफलोड किया जा सकता है क्योंकि वे केवल टेक्स्ट एन्कोडिंग के लिए आवश्यक हैं, मुख्य प्रशिक्षण लूप के लिए नहीं।

प्रशिक्षण गतिशीलता

SD 3.5 का आर्किटेक्चर हाइपरपैरामीटर के प्रति SDXL से अलग प्रतिक्रिया दे सकता है। SDXL के लिए काम करने वाली learning rates और step counts को समायोजन की आवश्यकता है।

Rectified flow प्रशिक्षण उद्देश्य भी पिछले diffusion उद्देश्यों से भिन्न है। यह convergence व्यवहार को प्रभावित कर सकता है।

24GB VRAM के लिए प्रशिक्षण कैसे कॉन्फ़िगर करें?

ये सेटिंग्स RTX 4090 और समान कार्डों पर प्रशिक्षण सक्षम करती हैं।

आवश्यक मेमोरी अनुकूलन

Gradient checkpointing सक्षम होना चाहिए। यह backward pass के दौरान activations को पुनर्गणना करके compute को memory से बदलता है।

BF16 मिश्रित परिशुद्धता मॉडल और activation मेमोरी को आधा कर देती है। SD 3.5 BF16 में अच्छी तरह प्रशिक्षित होता है।

8-बिट Adam ऑप्टिमाइज़र FP32 के बजाय ऑप्टिमाइज़र स्टेट के लिए INT8 का उपयोग करता है। यह 50% ऑप्टिमाइज़र मेमोरी बचाता है।

टेक्स्ट एन्कोडर ऑफलोडिंग एन्कोडिंग के बाद T5-XXL को CPU में ले जाती है। यह केवल प्रशिक्षण की शुरुआत में आवश्यक है।

ये सभी मिलकर मेमोरी आवश्यकताओं को 24GB रेंज में लाते हैं।

रिज़ॉल्यूशन सेटिंग्स

आरामदायक मेमोरी उपयोग के लिए 512x512 पर प्रशिक्षित करें। यह SD 3.5 के मूल 1024x1024 से कम है लेकिन अच्छे LoRAs उत्पन्न करता है।

768x768 जैसे उच्च रिज़ॉल्यूशन बहुत आक्रामक अनुकूलन के साथ फिट हो सकते हैं लेकिन अस्थिरता का जोखिम है।

कम रिज़ॉल्यूशन पर प्रशिक्षित LoRAs उच्च generation रिज़ॉल्यूशन पर काम करते हैं। छोटे प्रशिक्षित होने पर भी अवधारणाएं स्थानांतरित होती हैं।

Batch और Accumulation

अधिकतम मेमोरी दक्षता के लिए batch size को 1 सेट करें। प्रभावी बड़े batches प्राप्त करने के लिए gradient accumulation का उपयोग करें।

4-8 की Gradient accumulation मेमोरी में केवल 1 sample रखते हुए 4-8 की प्रभावी batch size देती है।

यह वास्तविक batching की मेमोरी लागत के बिना स्थिर प्रशिक्षण गतिशीलता प्रदान करता है।

नेटवर्क कॉन्फ़िगरेशन

Network rank 16-32 अधिकांश SD 3.5 LoRAs के लिए अच्छा काम करता है। उच्च ranks अधिक detail capture कर सकते हैं लेकिन अधिक मेमोरी और अधिक प्रशिक्षण डेटा की आवश्यकता होती है।

Network alpha rank के बराबर या rank का आधा सेट किया जा सकता है। दोनों आज़माएं और देखें कि आपके उपयोग मामले के लिए क्या काम करता है।

SD 3.5 का आर्किटेक्चर SDXL से अलग rank मान पसंद कर सकता है। क्या काम करता है यह खोजने के लिए प्रयोग करें।

ऑप्टिमाइज़र कॉन्फ़िगरेशन

bitsandbytes से AdamW8bit ऑप्टिमाइज़र का उपयोग करें। यह 8-बिट ऑप्टिमाइज़र स्टेट मेमोरी बचत प्रदान करता है।

Learning rate 1e-4 एक उचित शुरुआती बिंदु है। convergence व्यवहार के आधार पर समायोजित करें।

Constant learning rate अक्सर LoRA प्रशिक्षण के लिए schedulers से बेहतर काम करती है। शुरू में सरल रखें।

किस डेटासेट तैयारी की आवश्यकता है?

गुणवत्ता प्रशिक्षण डेटा गुणवत्ता परिणाम उत्पन्न करता है।

इमेज चयन

characters के लिए 10-20 इमेज, styles के लिए 50-200। मात्रा से अधिक गुणवत्ता मायने रखती है।

प्रकाश, कोण, अभिव्यक्ति, पृष्ठभूमि में विविधता शामिल करें। LoRA विविधता से सीखता है।

डुप्लिकेट और लगभग-डुप्लिकेट से बचें। प्रत्येक इमेज को अद्वितीय जानकारी योगदान करनी चाहिए।

रिज़ॉल्यूशन और फॉर्मेट

इमेज को प्रशिक्षण रिज़ॉल्यूशन या थोड़ा ऊपर resize करें। 512x512 पर प्रशिक्षण को 4K स्रोत इमेज से लाभ नहीं होता।

PNG या उच्च गुणवत्ता JPEG फॉर्मेट अच्छा काम करते हैं। अत्यधिक compressed इमेज से बचें।

लगातार aspect ratios बनाए रखें या अगर आपका प्रशिक्षण टूल समर्थन करता है तो bucketing का उपयोग करें।

कैप्शनिंग

विस्तृत कैप्शन LoRA गुणवत्ता को महत्वपूर्ण रूप से सुधारते हैं। SD 3.5 अपनी बेहतर टेक्स्ट समझ से लाभ उठाता है।

tag lists के बजाय प्राकृतिक भाषा विवरण का उपयोग करें। "woman, red hair, forest" के बजाय "A woman with long red hair standing in a forest"।

हर कैप्शन में अपना trigger word शामिल करें। "A photo of [trigger] wearing a blue dress" LoRA को सिखाता है कि trigger क्या दर्शाता है।

BLIP, CogVLM, या मैनुअल कैप्शनिंग जैसे टूल सभी काम करते हैं। auto-captions का मैनुअल परिशोधन परिणामों को बेहतर करता है।

डेटासेट संरचना

इमेज को संबंधित कैप्शन फाइलों के साथ फोल्डर में व्यवस्थित करें। सामान्य फॉर्मेट image.png के साथ कैप्शन वाली image.txt है।

प्रशिक्षण टूल विशिष्ट फोल्डर संरचनाओं की अपेक्षा करते हैं। अपने टूल की आवश्यकताओं से मिलान करें।

किस प्रशिक्षण प्रक्रिया का पालन करें?

सर्वोत्तम परिणामों के लिए व्यवस्थित रूप से प्रशिक्षण करें।

टूल चयन

Kohya SS GUI कॉन्फ़िगरेशन के साथ व्यापक SD 3.5 LoRA प्रशिक्षण समर्थन प्रदान करता है।

SimpleTuner अच्छे defaults के साथ सुव्यवस्थित विकल्प प्रदान करता है।

Custom scripts diffusers library का उपयोग करके उन्नत उपयोगकर्ताओं को अधिकतम नियंत्रण देते हैं।

कॉन्फ़िगरेशन जटिलता के साथ अपनी सहजता के आधार पर चुनें।

प्रारंभिक कॉन्फ़िगरेशन

रूढ़िवादी सेटिंग्स से शुरू करें जो निश्चित रूप से काम करेंगी।

512x512 रिज़ॉल्यूशन, batch size 1, gradient accumulation 4, rank 16, 1000 steps।

यह एक काम करने वाला LoRA उत्पन्न करता है जिसका आप अनुकूलन से पहले मूल्यांकन कर सकते हैं।

Sample Generation

प्रशिक्षण के दौरान sample generation सक्षम करें। हर 100-200 steps पर test इमेज generate होती हैं।

Samples सीखने की प्रगति दिखाते हैं। आप trigger word activate होते और अपना subject प्रकट होते देखते हैं।

जब samples अच्छे दिखें लेकिन overfit से गुणवत्ता गिरने से पहले प्रशिक्षण रोकें।

Monitoring

प्रशिक्षण के दौरान loss values देखें। वे कम होनी चाहिए और फिर स्थिर।

अचानक वृद्धि समस्याओं का संकेत देती है। बहुत अधिक learning rate या डेटा समस्याएं इसका कारण बनती हैं।

प्रशिक्षण समय अनुमान आपको योजना बनाने में मदद करते हैं। 4090 पर 2500 step run लगभग 1-2 घंटे लेता है।

मूल्यांकन

प्रशिक्षण के बाद, विभिन्न prompts और scenarios में LoRA का परीक्षण करें।

विभिन्न styles, poses और contexts आज़माएं यह देखने के लिए कि LoRA कितनी अच्छी तरह generalize करता है।

अगर परिणाम कमजोर हैं, तो अधिक प्रशिक्षण steps, अलग learning rate, या अधिक प्रशिक्षण डेटा पर विचार करें।

SD 3.5 LoRA प्रदर्शन SDXL से कैसे तुलना करता है?

अंतर समझना अपेक्षाएं निर्धारित करने में मदद करता है।

गुणवत्ता क्षमता

पर्याप्त प्रशिक्षण दिए जाने पर SD 3.5 SDXL से बेहतर परिणाम उत्पन्न कर सकता है। आर्किटेक्चर सुधार अधिक क्षमता प्रदान करते हैं।

लेकिन इस क्षमता को साकार करने के लिए उचित प्रशिक्षण की आवश्यकता है। खराब प्रशिक्षित SD 3.5 LoRA अच्छी तरह प्रशिक्षित SDXL LoRA को नहीं हराएगा।

प्रशिक्षण दक्षता

SD 3.5 को समकक्ष परिणामों के लिए SDXL के समान या थोड़े अधिक steps की आवश्यकता हो सकती है। बड़े आर्किटेक्चर को अधिक सीखना है।

समकक्ष सेटिंग्स के लिए मेमोरी आवश्यकताएं अधिक हैं। आपको बेहतर क्षमता मिलती है लेकिन अधिक संसाधनों की आवश्यकता है।

Ecosystem परिपक्वता

SDXL के पास प्रशिक्षण के बारे में वर्षों का community ज्ञान है। SD 3.5 सर्वोत्तम प्रथाएं अभी भी विकसित हो रही हैं।

इष्टतम सेटिंग्स के बारे में कम निश्चितता का मतलब है अधिक प्रयोग। नए models के लिए यह सामान्य है।

Generation गुणवत्ता

अच्छी तरह प्रशिक्षित SD 3.5 LoRAs generation समय पर उत्कृष्ट परिणाम उत्पन्न करते हैं। base model के लाभ स्थानांतरित होते हैं।

Text rendering, composition और detail सभी SD 3.5 के सुधारों से लाभ उठाते हैं।

जो उपयोगकर्ता हार्डवेयर बाधाओं के बिना SD 3.5 LoRA प्रशिक्षण चाहते हैं, उनके लिए Apatero.com पेशेवर GPUs के साथ cloud-based प्रशिक्षण प्रदान करता है। आप अपना प्रशिक्षण job कॉन्फ़िगर करते हैं जबकि platform मेमोरी अनुकूलन और हार्डवेयर प्रबंधन संभालता है।

किन सामान्य समस्याओं पर ध्यान देना चाहिए?

SD 3.5 LoRA प्रशिक्षण के लिए सामान्य समस्याएं और समाधान।

Out of Memory Errors

अगर OOM होता है, सत्यापित करें कि सभी मेमोरी अनुकूलन सक्षम हैं। Gradient checkpointing और मिश्रित परिशुद्धता आवश्यक हैं।

अगर आपने उच्च प्रयास किया तो रिज़ॉल्यूशन को 512x512 तक कम करें। हर pixel मेमोरी खर्च करता है।

जांचें कि text encoder offloading काम कर रहा है। VRAM में T5-XXL रहना बहुत अधिक उपयोग करता है।

खराब सीखना

अगर LoRA generation को प्रभावित नहीं करता, उच्च learning rate या अधिक steps आज़माएं।

जांचें कि captions में आपका trigger word लगातार शामिल है। गायब triggers का मतलब है LoRA नहीं सीखता कि किस पर activate करना है।

सत्यापित करें कि आपकी प्रशिक्षण इमेज में वास्तव में वह है जो आप सिखाने का प्रयास कर रहे हैं।

Overfit

अगर LoRA generalize करने के बजाय केवल प्रशिक्षण इमेज उत्पन्न करता है, प्रशिक्षण steps कम करें।

कम learning rate भी overfit प्रवृत्ति को कम कर सकती है।

अधिक प्रशिक्षण विविधता जोड़ें। LoRA को generalize करने के लिए विविधता देखनी होगी।

Style Bleeding

अगर LoRA समग्र image style बदलता है जब आप केवल subject सिखाना चाहते थे, अधिक रूढ़िवादी सेटिंग्स का उपयोग करें।

कम rank और कम steps LoRA द्वारा model को बदलने की मात्रा कम करते हैं।

बेहतर captions जो आपके subject को छोड़कर सब कुछ वर्णन करते हैं, सीखी गई चीज़ों को अलग करने में मदद करते हैं।

अक्सर पूछे जाने वाले प्रश्न

क्या 24GB VRAM SD 3.5 Large LoRA प्रशिक्षण के लिए पर्याप्त है?

हां, सभी मेमोरी अनुकूलन सक्षम होने पर। Gradient checkpointing, BF16, 8-bit optimizer और 512x512 रिज़ॉल्यूशन इसे संभव बनाते हैं।

RTX 4090 पर प्रशिक्षण में कितना समय लगता है?

2000 steps पर सामान्य character LoRA के लिए लगभग 1-2 घंटे। 4000 steps वाले style LoRAs को अधिक समय लगता है।

क्या मैं 1024x1024 रिज़ॉल्यूशन पर प्रशिक्षित कर सकता हूं?

24GB पर व्यावहारिक रूप से नहीं। मेमोरी आवश्यकता बहुत अधिक है। 512x512 पर प्रशिक्षित करें और 1024x1024 पर generate करें।

मुझे किस network rank का उपयोग करना चाहिए?

Characters के लिए 16, styles के लिए 32 से शुरू करें। परिणाम कमजोर हों तो बढ़ाएं, overfit हो रहा हो तो कम करें।

क्या SD 3.5 को SDXL से अलग learning rates की आवश्यकता है?

समान ranges काम करते हैं लेकिन इष्टतम मान भिन्न हो सकते हैं। 1e-4 से शुरू करें और convergence के आधार पर समायोजित करें।

क्या मुझे सभी तीन text encoders प्रशिक्षित करने चाहिए या कुछ freeze करने चाहिए?

LoRA प्रशिक्षण के लिए, आप आमतौर पर केवल diffusion backbone प्रशिक्षित करते हैं। Text encoders उपयोग किए जाते हैं लेकिन प्रशिक्षित नहीं।

मुझे कितनी इमेज चाहिए?

विविधता के साथ characters के लिए 10-20। Styles के लिए 50-200। मात्रा से अधिक गुणवत्ता और विविधता मायने रखती है।

क्या मैं SD 3.5 के साथ SDXL LoRAs का उपयोग कर सकता हूं?

नहीं, वे असंगत आर्किटेक्चर हैं। आपको SD 3.5 विशिष्ट LoRAs की आवश्यकता है।

क्या SD 3.5 Medium Large से प्रशिक्षित करना आसान है?

हां, इसकी मेमोरी आवश्यकताएं कम हैं। अगर Large बहुत मांग वाला है, Medium एक वैध विकल्प है।

क्या मेरा SD 3.5 LoRA भविष्य के versions के साथ काम करेगा?

सीधे संभवतः नहीं। नए model versions को आमतौर पर LoRAs को फिर से प्रशिक्षित करने की आवश्यकता होती है।

निष्कर्ष

उपभोक्ता हार्डवेयर पर SD 3.5 Large LoRA प्रशिक्षण के लिए सावधानीपूर्वक अनुकूलन की आवश्यकता है लेकिन उत्कृष्ट परिणाम उत्पन्न करता है। SDXL पर आर्किटेक्चर सुधार बेहतर प्रशिक्षित LoRAs में परिवर्तित होते हैं।

सभी मेमोरी अनुकूलन कॉन्फ़िगर करें। Gradient checkpointing, BF16, 8-bit optimizer और 512x512 रिज़ॉल्यूशन 24GB प्रशिक्षण को व्यवहार्य बनाते हैं।

विस्तृत captions के साथ गुणवत्ता प्रशिक्षण डेटा तैयार करें। SD 3.5 की text समझ प्राकृतिक भाषा विवरणों से लाभ उठाती है।

Samples के साथ प्रशिक्षण की निगरानी करें और overfitting से पहले रुकें। सबसे अच्छा LoRA नए contexts में generalize करते हुए आपके subject को capture करता है।

हार्डवेयर बाधाओं के बिना प्रशिक्षण के लिए, cloud services बड़े GPUs तक पहुंच प्रदान करती हैं। यह उच्च रिज़ॉल्यूशन या तेज़ प्रशिक्षण समय सक्षम कर सकता है।

उचित कॉन्फ़िगरेशन के साथ, SD 3.5 Large LoRA प्रशिक्षण आपके custom concepts और styles के लिए model के आर्किटेक्चर लाभ प्रदान करता है।