אימון LoRA מקומי ל-SD 3.5 Large - מדריך מלא

אתה רוצה לאמן LoRA עבור Stable Diffusion 3.5 Large אבל גודל המודל הופך את זה למאתגר על חומרה צרכנית. הארכיטקטורה המשופרת ביחס ל-SDXL מושכת, אבל האימון נראה כדורש GPUs מקצועיים. עם הקונפיגורציה הנכונה, אתה יכול לאמן LoRAs איכותיים של SD 3.5 Large על RTX 4090 וכרטיסים דומים.

תשובה מהירה: אימון LoRA מקומי ל-SD 3.5 Large דורש אופטימיזציית זיכרון אגרסיבית הכוללת gradient checkpointing, דיוק מעורב BF16, אופטימייזרים של 8 ביט ורזולוציית אימון של 512x512. על RTX 4090 עם 24GB VRAM, השתמש בגודל batch של 1 עם צבירת גרדיאנטים, rank רשת 16-32, ובערך 1500-2500 צעדים לדמויות או 3000-4000 לסגנונות. האימון לוקח 1-3 שעות בהתאם למערך הנתונים וההגדרות.

SD 3.5 Large משתמש בארכיטקטורה שונה מ-SDXL עם מקודדי טקסט מרובים ו-backbone DiT גדול יותר. ארכיטקטורה משופרת זו מייצרת תוצאות טובות יותר אך דורשת יותר מחומרת האימון. בואו נגדיר אימון שעובד על GPUs צרכניים.

מה הופך את אימון SD 3.5 Large לשונה?

הבנת הארכיטקטורה עוזרת לך לבצע אופטימיזציה לאימון.

ארכיטקטורת המודל

SD 3.5 Large משתמש בשלושה מקודדי טקסט במקום שניים של SDXL. CLIP-L, CLIP-G ו-T5-XXL מספקים הבנת טקסט.

מקודד T5-XXL לבדו גדול יותר מכל מודלי הדור הקודם. טעינת כל שלושת המקודדים במהלך האימון צורכת VRAM משמעותי.

ה-backbone של הדיפוזיה משתמש בארכיטקטורת DiT עם יותר פרמטרים מ-UNet של SDXL. זה מספק יתרונות איכות אך מגדיל דרישות זיכרון אימון.

דרישות זיכרון

בדיוק מלא ללא אופטימיזציה, אימון SD 3.5 Large צריך 50GB+ VRAM. זה עולה על כל הכרטיסים הצרכניים.

עם אופטימיזציה, 24GB הופך לאפשרי אך דורש כל טכניקת חיסכון זיכרון זמינה.

מקודדי הטקסט המרובים יכולים להיות מועברים ל-CPU במהלך האימון מכיוון שהם נחוצים רק לקידוד טקסט, לא ללולאת האימון הראשית.

דינמיקת אימון

הארכיטקטורה של SD 3.5 עשויה להגיב אחרת להיפרפרמטרים מ-SDXL. שיעורי למידה וספירות צעדים שעבדו ל-SDXL צריכים התאמה.

מטרת האימון של זרימה מתוקנת גם שונה ממטרות דיפוזיה קודמות. זה יכול להשפיע על התנהגות ההתכנסות.

איך מגדירים אימון ל-24GB VRAM?

הגדרות אלה מאפשרות אימון על RTX 4090 וכרטיסים דומים.

אופטימיזציות זיכרון הכרחיות

Gradient checkpointing חייב להיות מופעל. זה מחליף חישוב בזיכרון על ידי חישוב מחדש של הפעלות במהלך המעבר לאחור.

דיוק מעורב BF16 מפחית זיכרון מודל והפעלות בחצי. SD 3.5 מתאמן היטב ב-BF16.

אופטימייזר Adam של 8 ביט משתמש ב-INT8 למצבי אופטימייזר במקום FP32. זה חוסך 50% מזיכרון האופטימייזר.

העברת מקודד טקסט מעביר T5-XXL ל-CPU אחרי הקידוד. זה נחוץ רק בתחילת האימון.

כל אלה יחד מביאים את דרישות הזיכרון לטווח של 24GB.

הגדרות רזולוציה

אמן ב-512x512 לשימוש נוח בזיכרון. זה נמוך מ-1024x1024 המקורי של SD 3.5 אך מייצר LoRAs טובים.

רזולוציות גבוהות יותר כמו 768x768 עשויות להתאים עם אופטימיזציה אגרסיבית מאוד אך מסתכנות באי-יציבות.

LoRAs שאומנו ברזולוציה נמוכה יותר עובדים ברזולוציית יצירה גבוהה יותר. המושגים מועברים גם אם אומנו קטנים יותר.

Batch וצבירה

הגדר גודל batch ל-1 ליעילות זיכרון מקסימלית. השתמש בצבירת גרדיאנטים להשגת batches גדולים יותר אפקטיביים.

צבירת גרדיאנטים של 4-8 נותנת גודל batch אפקטיבי של 4-8 בעוד מחזיקה רק דגימה אחת בזיכרון.

זה מספק דינמיקת אימון יציבה ללא עלות הזיכרון של batching אמיתי.

קונפיגורציית רשת

Rank רשת 16-32 עובד היטב לרוב LoRAs של SD 3.5. Ranks גבוהים יותר יכולים ללכוד יותר פרטים אך צריכים יותר זיכרון ויותר נתוני אימון.

Alpha רשת יכול להיות שווה ל-rank או מוגדר לחצי rank. נסה את שניהם וראה מה עובד למקרה השימוש שלך.

הארכיטקטורה של SD 3.5 עשויה להעדיף ערכי rank שונים מ-SDXL. נסה למצוא מה עובד.

קונפיגורציית אופטימייזר

השתמש באופטימייזר AdamW8bit מ-bitsandbytes. זה מספק חיסכון זיכרון מצב אופטימייזר של 8 ביט.

שיעור למידה 1e-4 הוא נקודת התחלה סבירה. התאם בהתאם להתנהגות ההתכנסות.

שיעור למידה קבוע לעתים קרובות עובד טוב יותר ממתזמנים לאימון LoRA. שמור על זה פשוט בהתחלה.

איזו הכנת מערך נתונים נדרשת?

נתוני אימון איכותיים מייצרים תוצאות איכותיות.

בחירת תמונות

10-20 תמונות לדמויות, 50-200 לסגנונות. איכות חשובה יותר מכמות.

כלול מגוון בתאורה, זווית, הבעה, רקע. ה-LoRA לומד מהמגוון.

הימנע מכפילויות וכמעט-כפילויות. כל תמונה צריכה לתרום מידע ייחודי.

רזולוציה ופורמט

שנה גודל תמונות לרזולוציית האימון או מעט מעל. אימון ב-512x512 לא נהנה מתמונות מקור 4K.

פורמטים PNG או JPEG באיכות גבוהה עובדים היטב. הימנע מתמונות דחוסות מאוד.

שמור על יחסי גובה-רוחב עקביים או השתמש ב-bucketing אם כלי האימון שלך תומך.

כיתוב

כיתובים מפורטים משפרים משמעותית את איכות ה-LoRA. SD 3.5 נהנה מהבנת הטקסט המשופרת שלו.

השתמש בתיאורים בשפה טבעית במקום רשימות תגים. "אישה עם שיער אדום ארוך עומדת ביער" במקום "woman, red hair, forest."

כלול את מילת ההפעלה שלך בכל כיתוב. "תמונה של [trigger] לובשת שמלה כחולה" מלמד את ה-LoRA מה ההפעלה מייצגת.

כלים כמו BLIP, CogVLM או כיתוב ידני כולם עובדים. שיפור ידני של כיתובים אוטומטיים משפר תוצאות.

מבנה מערך הנתונים

ארגן תמונות בתיקייה עם קבצי כיתוב מתאימים. פורמטים נפוצים הם image.png עם image.txt המכיל את הכיתוב.

כלי אימון מצפים למבני תיקיות ספציפיים. התאם לדרישות הכלי שלך.

איזה תהליך אימון כדאי לעקוב?

עבור דרך האימון באופן שיטתי לתוצאות הטובות ביותר.

בחירת כלי

Kohya SS מספק תמיכה מקיפה באימון LoRA של SD 3.5 עם קונפיגורציית GUI.

SimpleTuner מציע חלופה פשוטה יותר עם ברירות מחדל טובות.

סקריפטים מותאמים באמצעות ספריית diffusers נותנים שליטה מקסימלית למשתמשים מתקדמים.

בחר בהתאם לנוחות שלך עם מורכבות הקונפיגורציה.

קונפיגורציה התחלתית

התחל עם הגדרות שמרניות שבוודאות יעבדו.

רזולוציה 512x512, גודל batch 1, צבירת גרדיאנטים 4, rank 16, 1000 צעדים.

זה מייצר LoRA עובד שאתה יכול להעריך לפני האופטימיזציה.

יצירת דגימות

אפשר יצירת דגימות במהלך האימון. כל 100-200 צעדים מייצר תמונות מבחן.

דגימות מראות את התקדמות הלמידה. אתה רואה את מילת ההפעלה מופעלת והנושא שלך מופיע.

עצור את האימון כאשר הדגימות נראות טוב אך לפני שהאיכות מתחילה לרדת מ-overfit.

ניטור

צפה בערכי האובדן במהלך האימון. הם צריכים לרדת ואז להתייצב.

עליות פתאומיות מצביעות על בעיות. שיעור למידה גבוה מדי או בעיות נתונים גורמים לזה.

הערכות זמן אימון עוזרות לך לתכנן. ריצה של 2500 צעדים על 4090 לוקחת בערך 1-2 שעות.

הערכה

אחרי האימון, בדוק את ה-LoRA במגוון prompts ותרחישים.

נסה סגנונות, תנוחות והקשרים שונים כדי לראות כמה טוב ה-LoRA מכליל.

אם התוצאות חלשות, שקול יותר צעדי אימון, שיעור למידה שונה או יותר נתוני אימון.

איך ביצועי LoRA של SD 3.5 משתווים ל-SDXL?

הבנת ההבדלים עוזרת להגדיר ציפיות.

פוטנציאל איכות

SD 3.5 יכול לייצר תוצאות טובות יותר מ-SDXL בהינתן אימון מספיק. שיפורי הארכיטקטורה מספקים יותר קיבולת.

אך מימוש פוטנציאל זה דורש אימון נכון. LoRA של SD 3.5 שאומן בצורה גרועה לא ינצח LoRA של SDXL שאומן היטב.

יעילות אימון

SD 3.5 עשוי להזדקק לצעדים דומים או מעט יותר מ-SDXL לתוצאות שוות ערך. הארכיטקטורה הגדולה יותר צריכה ללמוד יותר.

דרישות זיכרון גבוהות יותר להגדרות שוות ערך. אתה מקבל פוטנציאל טוב יותר אך צריך יותר משאבים.

בשלות האקוסיסטם

ל-SDXL יש שנים של ידע קהילתי על אימון. השיטות הטובות ביותר של SD 3.5 עדיין מתפתחות.

פחות ודאות לגבי הגדרות אופטימליות אומרת יותר ניסויים. זה נורמלי למודלים חדשים יותר.

איכות יצירה

LoRAs של SD 3.5 שאומנו היטב מייצרים תוצאות מצוינות בזמן היצירה. יתרונות מודל הבסיס מועברים.

רינדור טקסט, קומפוזיציה ופרטים כולם נהנים משיפורי SD 3.5.

למשתמשים שרוצים אימון LoRA של SD 3.5 ללא מגבלות חומרה, Apatero.com מספק אימון מבוסס ענן עם GPUs מקצועיים. אתה מגדיר את עבודת האימון שלך בעוד הפלטפורמה מטפלת באופטימיזציית זיכרון וניהול חומרה.

אילו בעיות נפוצות כדאי לשים לב?

בעיות טיפוסיות ופתרונות לאימון LoRA של SD 3.5.

שגיאות חוסר זיכרון

אם OOM מתרחש, וודא שכל אופטימיזציות הזיכרון מופעלות. Gradient checkpointing ודיוק מעורב הכרחיים.

הפחת רזולוציה ל-512x512 אם ניסית גבוה יותר. כל פיקסל עולה זיכרון.

בדוק שהעברת מקודד הטקסט עובדת. T5-XXL שנשאר ב-VRAM משתמש יותר מדי.

למידה גרועה

אם ה-LoRA לא משפיע על היצירה, נסה שיעור למידה גבוה יותר או יותר צעדים.

בדוק שהכיתובים כוללים את מילת ההפעלה שלך באופן עקבי. הפעלות חסרות אומרות שה-LoRA לא לומד על מה להפעיל.

וודא שתמונות האימון שלך באמת מכילות את מה שאתה מנסה ללמד.

Overfitting

אם ה-LoRA מייצר רק תמונות אימון במקום להכליל, הפחת צעדי אימון.

שיעור למידה נמוך יותר יכול גם להפחית נטיית overfitting.

הוסף יותר מגוון אימון. ה-LoRA צריך לראות מגוון כדי להכליל.

דליפת סגנון

אם ה-LoRA משנה את הסגנון הכללי של התמונה כאשר רצית רק ללמד נושא, השתמש בהגדרות שמרניות יותר.

Rank נמוך יותר ופחות צעדים מפחיתים כמה ה-LoRA משנה את המודל.

כיתובים טובים יותר שמתארים הכול חוץ מהנושא שלך עוזרים לבודד מה נלמד.

שאלות נפוצות

האם 24GB VRAM מספיק לאימון LoRA של SD 3.5 Large?

כן, עם כל אופטימיזציות הזיכרון מופעלות. Gradient checkpointing, BF16, אופטימייזר 8 ביט ורזולוציה 512x512 הופכים את זה לאפשרי.

כמה זמן לוקח אימון על RTX 4090?

בערך 1-2 שעות ל-LoRA דמות טיפוסי ב-2000 צעדים. LoRAs סגנון שצריכים 4000 צעדים לוקחים יותר זמן.

האם אני יכול לאמן ברזולוציה 1024x1024?

לא באופן מעשי על 24GB. דרישת הזיכרון גבוהה מדי. אמן ב-512x512 וצור ב-1024x1024.

איזה rank רשת כדאי לי להשתמש?

התחל עם 16 לדמויות, 32 לסגנונות. הגדל אם התוצאות חלשות, הפחת אם יש לך overfitting.

האם SD 3.5 צריך שיעורי למידה שונים מ-SDXL?

טווחים דומים עובדים אך ערכים אופטימליים עשויים להיות שונים. התחל ב-1e-4 והתאם בהתאם להתכנסות.

האם כדאי לאמן את כל שלושת מקודדי הטקסט או להקפיא חלק?

לאימון LoRA, בדרך כלל מאמנים רק את backbone הדיפוזיה. מקודדי טקסט משמשים אך לא מאומנים.

כמה תמונות אני צריך?

10-20 לדמויות עם מגוון. 50-200 לסגנונות. איכות ומגוון חשובים יותר מכמות.

האם אני יכול להשתמש ב-LoRAs של SDXL עם SD 3.5?

לא, אלה ארכיטקטורות לא תואמות. אתה צריך LoRAs ספציפיים ל-SD 3.5.

האם SD 3.5 Medium קל יותר לאימון מ-Large?

כן, יש לו דרישות זיכרון נמוכות יותר. אם Large דורש מדי, Medium הוא חלופה תקפה.

האם ה-LoRA של SD 3.5 שלי יעבוד עם גרסאות עתידיות?

כנראה שלא ישירות. גרסאות מודל חדשות בדרך כלל דורשות אימון מחדש של LoRAs.

סיכום

אימון LoRA של SD 3.5 Large על חומרה צרכנית דורש אופטימיזציה זהירה אך מייצר תוצאות מצוינות. שיפורי הארכיטקטורה על SDXL מתורגמים ל-LoRAs שאומנו טוב יותר.

הגדר את כל אופטימיזציות הזיכרון. Gradient checkpointing, BF16, אופטימייזר 8 ביט ורזולוציה 512x512 הופכים אימון 24GB לישים.

הכן נתוני אימון איכותיים עם כיתובים מפורטים. הבנת הטקסט של SD 3.5 נהנית מתיאורים בשפה טבעית.

נטר את האימון עם דגימות ועצור לפני overfitting. ה-LoRA הטוב ביותר לוכד את הנושא שלך תוך הכללה להקשרים חדשים.

לאימון ללא מגבלות חומרה, שירותי ענן מספקים גישה ל-GPUs גדולים יותר. זה יכול לאפשר רזולוציות גבוהות יותר או זמני אימון מהירים יותר.

עם קונפיגורציה נכונה, אימון LoRA של SD 3.5 Large מספק את יתרונות הארכיטקטורה של המודל למושגים וסגנונות המותאמים אישית שלך.