דגלי אופטימיזציית VRAM מוסברים - מדריך ComfyUI ויצירת בינה מלאכותית

ל-ComfyUI ולכלי יצירת בינה מלאכותית יש עשרות דגלים והגדרות אופטימיזציית VRAM. ראית מונחים כמו --lowvram, attention slicing, FP16 והעברה ל-CPU אבל לא בטוח מה הם באמת עושים או באילו להשתמש. הבנת הדגלים האלה עוזרת לך למקסם ביצועים על החומרה הספציפית שלך.

תשובה מהירה: דגלי אופטימיזציית VRAM שולטים באופן שבו מודלים משתמשים בזיכרון GPU דרך טכניקות כמו דיוק מופחת FP16 ו-BF16, מצבי חישוב attention והעברה ל-CPU. דגלים מרכזיים כוללים --lowvram לאופטימיזציה אגרסיבית אוטומטית, --gpu-only לשמירת הכול על GPU, מצבי attention כמו xFormers או SageAttention, ודגלי דיוק שמאזנים איכות מול זיכרון. בחר דגלים בהתאם לכמות ה-VRAM שלך וצרכי היצירה.

VRAM הוא המגבלה העיקרית ליצירת בינה מלאכותית מקומית. הבנת דגלי אופטימיזציה מאפשרת לך להריץ מודלים שאחרת היו עולים על החומרה שלך או לקבל ביצועים טובים יותר ממודלים שבקושי נכנסים. בואו נסיר את המסתורין מכל קטגוריית אופטימיזציה עיקרית.

מה דגלי דיוק עושים?

הגדרות דיוק שולטות באופן שבו מספרים נשמרים, משפיעים ישירות על זיכרון ואיכות.

FP32 דיוק מלא

FP32 משתמש ב-32 ביט למספר. זה מספק דיוק מספרי מקסימלי אך משתמש בהכי הרבה זיכרון.

משקולות מודל, הפעלות וגרדיאנטים כולם לוקחים 4 בתים כל אחד ב-FP32.

כמעט אף יצירת בינה מלאכותית לא באמת צריכה FP32. זה ברירת המחדל בחלק מהכלים אך לעתים רחוקות אופטימלי.

FP16 חצי דיוק

FP16 משתמש ב-16 ביט למספר, מפחית זיכרון בחצי לעומת FP32.

השפעת האיכות בדרך כלל לא מורגשת להסקה. היצירה נראית אותו דבר.

FP16 יכול להיתקל בבעיות עם מספרים גדולים או קטנים מאוד בגלל טווח דינמי מוגבל. זה חשוב יותר לאימון מאשר להסקה.

רוב כלי היצירה משתמשים ב-FP16 כברירת מחדל. זה נבדק היטב ואמין.

BF16 Brain Float

BF16 גם משתמש ב-16 ביט אך עם הקצאה שונה בין מעריך ומנטיסה.

יש לו אותו טווח דינמי כמו FP32 אך פחות דיוק. זה מטפל באימון טוב יותר מ-FP16.

דורש GPUs של Ampere או חדשים יותר. סדרות RTX 30 ומעלה תומכות ב-BF16 באופן מקורי.

להסקה, BF16 ו-FP16 מייצרים תוצאות דומות. ל-BF16 יש יתרונות לאימון.

FP8 ו-INT8

GPUs חדשים יותר תומכים בפורמטים של דיוק נמוך עוד יותר לפעולות ספציפיות.

FP8 משתמש ב-8 ביט ומספק הפחתת זיכרון נוספת של 50% על FP16. השפעת האיכות משתנה.

קוונטיזציית INT8 היא בעיקר לאופטימיזציית הסקה. מודלים צריכים הכנה מודעת קוונטיזציה.

פורמטים אלה שימושיים להרצת מודלים גדולים יותר או השגת throughput גבוה יותר כאשר פשרת האיכות מקובלת.

בחירת דיוק

לרוב המשתמשים, FP16 או BF16 מספקים את האיזון הטוב ביותר. חצי זיכרון של FP32 ללא אובדן איכות מורגש.

השתמש ב-FP8 כאשר אתה צריך להכניס מודלים גדולים יותר או לרוץ מהר יותר ויכול לקבל הפחתת איכות פוטנציאלית.

השתמש ב-FP32 רק אם אתה רואה ארטיפקטים מספריים עם דיוק נמוך יותר, מה שנדיר.

איך מצבי Attention משפיעים על זיכרון?

חישוב attention הוא אינטנסיבי בזיכרון ונהנה מאוד מאופטימיזציה.

Attention סטנדרטי

ה-attention הסטנדרטי של PyTorch מחשב את מטריצת ה-attention המלאה בבת אחת.

שימוש בזיכרון עולה ריבועית עם אורך הרצף. תמונות ברזולוציה גבוהה יש להן רצפים ארוכים.

זה עובד אך משאיר פוטנציאל אופטימיזציה משמעותי ללא שימוש.

xFormers Attention יעיל בזיכרון

xFormers מיישם attention בחתיכות במקום הכול בבת אחת.

שימוש בזיכרון הופך כמעט ליניארי במקום ריבועי. זה מאפשר רזולוציות הרבה יותר גבוהות.

מהירות לעתים קרובות משתפרת גם כי יעילות זיכרון עוזרת לניצול GPU.

xFormers חייב להיות מותקן בנפרד. זה נתמך באופן רחב ונבדק היטב.

Flash Attention

Flash Attention ממזג פעולות attention למזער העברות זיכרון.

זה מהיר יותר מ-attention סטנדרטי ויעיל יותר בזיכרון.

דורש GPUs של Ampere או חדשים יותר. לא כל הכלים תומכים בזה עדיין.

SageAttention

SageAttention משתמש ב-kernels Triton מותאמים אישית ל-attention.

הביצועים בדרך כלל טובים יותר מ-xFormers עם יתרונות זיכרון דומים.

דורש התקנת Triton ועשוי להזדקק לקומפילציה ל-GPU שלך.

Attention Slicing

Attention slicing מעבד attention בבאצ'ים קטנים באופן רציף.

מפחית דרמטית זיכרון אך מאט משמעותית את היצירה.

השתמש כמוצא אחרון כאשר אופטימיזציות attention אחרות לא מספיקות.

בחירת מצב Attention

נסה SageAttention או Flash Attention קודם אם ההגדרה שלך תומכת בהם. ביצועים וזיכרון הכי טובים.

חזור ל-xFormers לתאימות רחבה ותוצאות טובות.

השתמש ב-attention slicing רק כאשר אתה לא יכול לרוץ עם אף מצב attention יעיל.

מה העברת מודל עושה?

העברה מעבירה רכיבי מודל ל-CPU כדי לפנות זיכרון GPU.

העברת מודל מלאה

עם העברה אגרסיבית, רק החלק של המודל שמחשב באופן פעיל נשאר על GPU.

רכיבים זזים בין CPU ל-GPU לפי הצורך. זה מפחית דרמטית שימוש ב-VRAM.

מהירות סובלת משמעותית כי העברה מ-CPU ל-GPU איטית.

העברת מקודד טקסט

מקודדי טקסט נחוצים רק בתחילת היצירה לקידוד ה-prompt שלך.

העברתם ל-CPU אחרי קידוד מפנה זיכרון לתהליך הדיפוזיה הראשי.

השפעת המהירות מינימלית כי קידוד הוא חלק קטן מהזמן הכולל.

העברת VAE

VAEs מפענחים latents לתמונות בסוף היצירה.

העברת ה-VAE במהלך הדיפוזיה מפנה זיכרון למודל הראשי.

ה-VAE נטען מחדש לפענוח בסוף, מוסיף עלות זמן קטנה.

העברה רציפה

העברה רציפה מעבירה שכבות מודל ל-GPU אחת בכל פעם במהלך החישוב.

כל שכבה נטענת, מחשבת, ואז מועברת. נדרש זיכרון GPU מינימלי.

איטי מאוד אך מאפשר מודלים גדולים מאוד על GPUs קטנים מאוד.

מתי להשתמש בהעברה

העברת מקודד טקסט יש לה השפעה מינימלית על מהירות וחיסכון זיכרון ששווה. השתמש כברירת מחדל.

העברת VAE עוזרת כאשר VAE מתחרה עם המודל הראשי על זיכרון. טוב ל-VRAM מוגבל.

העברה מלאה היא מוצא אחרון כאשר שום דבר אחר לא מתאים. קבל יצירה איטית עבור היכולת לרוץ בכלל.

מה הם מצבי VRAM נמוך?

שילובי אופטימיזציה מוגדרים מראש למערכות עם מגבלות זיכרון.

דגל --lowvram

מפעיל שילוב אופטימיזציה אגרסיבי כולל attention slicing והעברה.

מתוכנן ל-GPUs עם 4-8GB VRAM. גורם למודלים לרוץ שאחרת לא היו רצים.

מהירות מופחתת משמעותית אך יצירה אפשרית.

דגל --medvram

אופטימיזציה מתונה ל-GPUs של 8-12GB.

פחות אגרסיבי מ-lowvram עם מהירות טובה יותר.

נקודת התחלה טובה אם ה-GPU שלך על הגבול למודל.

דגל --gpu-only

הפוך מ-lowvram. שומר הכול על GPU ללא העברה.

מהירות מקסימלית אך דורש VRAM מספיק.

השתמש כאשר יש לך הרבה VRAM ורוצה יצירה הכי מהירה.

זיהוי אוטומטי

חלק מהכלים מזהים VRAM אוטומטית ומיישמים דגלים מתאימים.

זה בדרך כלל עובד אך דריסה ידנית יכולה להיות טובה יותר למצבים ספציפיים.

אם זיהוי אוטומטי גורם לבעיות, הגדר במפורש את הדגל שאתה רוצה.

איך משלבים אופטימיזציות?

אופטימיזציות מרובות מצטברות ליתרון מצטבר.

שילוב דיוק ו-Attention

FP16 פלוס xFormers מספקים את שתי הפחתות הזיכרון.

שילוב זה הוא סטנדרטי לרוב ההגדרות ומספק איזון טוב.

הוספת העברה

הוסף העברת מקודד טקסט לפנות זיכרון נוסף.

השילוב מטפל ברוב המודלים על רוב GPUs צרכניים.

הסלמה פרוגרסיבית

התחל עם אופטימיזציה מינימלית. אם OOM, הוסף עוד.

FP16 קודם, אז attention יעיל, אז העברה, אז attention slicing.

מצא את האופטימיזציה המינימלית הנדרשת ליציבות.

תשואות פוחתות

חלק מהשילובים מספקים יתרון נוסף שולי.

אופטימיזציה אגרסיבית מאוד למודלים שכבר מתאימים מבזבזת ביצועים.

התאם רמת אופטימיזציה לצורך האמיתי.

למשתמשים שרוצים יצירה אופטימלית מבלי לנהל הגדרות טכניות אלה, Apatero.com מספק גישה לתשתית יצירה מוגדרת כראוי. אתה מקבל ביצועים מקסימליים ללא קונפיגורציית דגלים.

שאלות נפוצות

אילו דגלים כדאי לי להשתמש ל-8GB VRAM?

התחל עם --medvram או FP16 עם xFormers והעברת מקודד טקסט. אם עדיין OOM, הוסף העברת VAE או עבור ל--lowvram.

האם FP16 משפיע על איכות תמונה?

להסקה, השפעת האיכות לא מורגשת כמעט בכל המקרים. FP16 הוא סטנדרט ליצירה.

למה היצירה שלי איטית עם מצב lowvram?

Lowvram משתמש בהעברה אגרסיבית שדורשת העברה מ-CPU ל-GPU לכל פעולה. זה באופן מהותי איטי אך מאפשר לרוץ בכלל.

האם אני יכול להשתמש באופטימיזציות attention מרובות יחד?

לא, בחר אחת. xFormers, Flash Attention ו-SageAttention הם חלופות לא תוספות.

האם כדאי לי תמיד להשתמש באופטימיזציה הכי אגרסיבית?

לא, אופטימיזציה מופרזת מבזבזת מהירות. השתמש באופטימיזציה מינימלית הנדרשת לפעולה יציבה.

מה ההבדל בין FP16 ל-BF16 ליצירה?

להסקה, התוצאות דומות. BF16 מטפל טוב יותר בערכים קיצוניים אך שניהם עובדים היטב ליצירה.

האם attention slicing תמיד עוזר?

זה מפחית זיכרון אך מאט יצירה. השתמש רק אם מצבי attention יעילים לא מספיקים.

האם האופטימיזציות האלה יכולות לעזור לאימון?

כן, אופטימיזציות דומות חלות על אימון. Gradient checkpointing חשוב במיוחד לזיכרון אימון.

למה אני עדיין מקבל OOM עם כל האופטימיזציות?

המודל עשוי באמת להזדקק ליותר VRAM מהזמין. נסה מודלים קטנים יותר או instances בענן.

איך אני יודע איזו אופטימיזציה עוזרת?

הפעל אחת בכל פעם ובדוק שימוש VRAM. זה מזהה אילו אופטימיזציות באמת עוזרות.

סיכום

דגלי אופטימיזציית VRAM נותנים לך שליטה על הפשרה בין שימוש בזיכרון לביצועים. הבנת מה כל דגל עושה עוזרת לך להגדיר הגדרות אופטימליות לחומרה שלך.

לרוב המשתמשים, דיוק FP16 או BF16 עם attention יעיל בזיכרון מספק תוצאות מצוינות. הוסף העברה כאשר אתה צריך חיסכון זיכרון נוסף.

שמור אופטימיזציות אגרסיביות כמו attention slicing למצבים שבהם שום דבר אחר לא עובד. עלות המהירות גבוהה.

התאם את רמת האופטימיזציה שלך לצרכים האמיתיים שלך. יותר לא תמיד טוב יותר כי אופטימיזציה מיותרת מבזבזת ביצועים.

למשתמשים שמעדיפים אופטימיזציה אוטומטית ללא ניהול דגלים, Apatero.com מספק גישה ליצירה עם קונפיגורציה מקצועית. אתה מקבל ביצועים אופטימליים מבלי להבין כל דגל בעצמך.