VRAM-Optimierungsflags erklärt - ComfyUI und KI-Generierungsleitfaden

ComfyUI und KI-Generierungstools haben Dutzende von VRAM-Optimierungsflags und -Einstellungen. Sie haben Begriffe wie --lowvram, Attention Slicing, FP16 und CPU-Auslagerung gesehen, sind sich aber nicht sicher, was sie tatsächlich tun oder welche Sie verwenden sollten. Das Verständnis dieser Flags hilft Ihnen, die Leistung auf Ihrer spezifischen Hardware zu maximieren.

Schnelle Antwort: VRAM-Optimierungsflags steuern, wie Modelle GPU-Speicher durch Techniken wie reduzierte Präzision FP16 und BF16, Attention-Berechnungsmodi und CPU-Auslagerung nutzen. Wichtige Flags sind --lowvram für automatische aggressive Optimierung, --gpu-only um alles auf der GPU zu halten, Attention-Modi wie xFormers oder SageAttention und Präzisionsflags, die Qualität gegen Speicher ausbalancieren. Wählen Sie Flags basierend auf Ihrer VRAM-Menge und Generierungsbedürfnissen.

VRAM ist die Hauptbeschränkung für lokale KI-Generierung. Das Verständnis von Optimierungsflags ermöglicht es Ihnen, Modelle auszuführen, die sonst Ihre Hardware übersteigen würden, oder bessere Leistung von Modellen zu erzielen, die gerade noch passen. Lassen Sie uns jede Hauptoptimierungskategorie entmystifizieren.

Was bewirken Präzisionsflags?

Präzisionseinstellungen steuern, wie Zahlen gespeichert werden, was sich direkt auf Speicher und Qualität auswirkt.

FP32 Volle Präzision

FP32 verwendet 32 Bit pro Zahl. Dies bietet maximale numerische Präzision, verwendet aber den meisten Speicher.

Modellgewichte, Aktivierungen und Gradienten benötigen alle 4 Bytes in FP32.

Fast keine KI-Generierung benötigt tatsächlich FP32. Es ist in einigen Tools Standard, aber selten optimal.

FP16 Halbe Präzision

FP16 verwendet 16 Bit pro Zahl und halbiert den Speicher gegenüber FP32.

Die Qualitätsauswirkung ist für Inferenz normalerweise nicht wahrnehmbar. Die Generierung sieht gleich aus.

FP16 kann aufgrund des begrenzten dynamischen Bereichs Probleme mit sehr großen oder kleinen Zahlen haben. Dies ist wichtiger für Training als für Inferenz.

Die meisten Generierungstools verwenden standardmäßig FP16. Es ist gut getestet und zuverlässig.

BF16 Brain Float

BF16 verwendet ebenfalls 16 Bit, aber mit unterschiedlicher Aufteilung zwischen Exponent und Mantisse.

Es hat den gleichen dynamischen Bereich wie FP32, aber weniger Präzision. Dies handhabt Training besser als FP16.

Erfordert Ampere oder neuere GPUs. RTX 30-Serie und höher unterstützen BF16 nativ.

Für Inferenz produzieren BF16 und FP16 ähnliche Ergebnisse. BF16 hat Vorteile für Training.

FP8 und INT8

Neuere GPUs unterstützen noch niedrigere Präzisionsformate für spezifische Operationen.

FP8 verwendet 8 Bit und bietet eine weitere 50%ige Speicherreduzierung gegenüber FP16. Die Qualitätsauswirkung variiert.

INT8-Quantisierung dient hauptsächlich der Inferenzoptimierung. Modelle benötigen quantisierungsbewusste Vorbereitung.

Diese Formate sind nützlich für das Ausführen größerer Modelle oder das Erreichen höheren Durchsatzes, wenn ein Qualitätskompromiss akzeptabel ist.

Präzision wählen

Für die meisten Benutzer bietet FP16 oder BF16 die beste Balance. Die Hälfte des Speichers von FP32 ohne wahrnehmbaren Qualitätsverlust.

Verwenden Sie FP8, wenn Sie größere Modelle einpassen oder schneller laufen müssen und potenzielle Qualitätsreduzierung akzeptieren können.

Verwenden Sie FP32 nur, wenn Sie numerische Artefakte bei niedrigerer Präzision sehen, was selten ist.

Wie beeinflussen Attention-Modi den Speicher?

Attention-Berechnung ist speicherintensiv und profitiert stark von Optimierung.

Standard-Attention

Standard-PyTorch-Attention berechnet die gesamte Attention-Matrix auf einmal.

Die Speichernutzung skaliert quadratisch mit der Sequenzlänge. Hochauflösende Bilder haben lange Sequenzen.

Das funktioniert, lässt aber erhebliches Optimierungspotenzial ungenutzt.

xFormers Memory Efficient Attention

xFormers implementiert Attention in Chunks statt auf einmal.

Die Speichernutzung wird nahezu linear statt quadratisch. Dies ermöglicht viel höhere Auflösungen.

Die Geschwindigkeit verbessert sich oft auch, weil Speichereffizienz der GPU-Auslastung hilft.

xFormers muss separat installiert werden. Es ist weit verbreitet und gut getestet.

Flash Attention

Flash Attention verschmilzt Attention-Operationen, um Speichertransfers zu minimieren.

Es ist schneller als Standard-Attention und speichereffizienter.

Erfordert Ampere oder neuere GPUs. Noch nicht alle Tools unterstützen es.

SageAttention

SageAttention verwendet benutzerdefinierte Triton-Kernel für Attention.

Die Leistung ist typischerweise besser als xFormers mit ähnlichen Speichervorteilen.

Erfordert Triton-Installation und muss möglicherweise für Ihre GPU kompiliert werden.

Attention Slicing

Attention Slicing verarbeitet Attention in kleinen Batches sequentiell.

Reduziert den Speicher drastisch, verlangsamt aber die Generierung erheblich.

Verwenden Sie es als letzten Ausweg, wenn andere Attention-Optimierungen nicht ausreichen.

Attention-Modus wählen

Probieren Sie zuerst SageAttention oder Flash Attention, wenn Ihr Setup sie unterstützt. Beste Leistung und Speicher.

Greifen Sie für breite Kompatibilität und gute Ergebnisse auf xFormers zurück.

Verwenden Sie Attention Slicing nur, wenn Sie mit keinem effizienten Attention-Modus laufen können.

Was bewirkt Modell-Auslagerung?

Auslagerung verschiebt Modellkomponenten zur CPU, um GPU-Speicher freizugeben.

Vollständige Modell-Auslagerung

Bei aggressiver Auslagerung bleibt nur der aktiv berechnende Teil des Modells auf der GPU.

Komponenten bewegen sich nach Bedarf zwischen CPU und GPU. Dies reduziert die VRAM-Nutzung drastisch.

Die Geschwindigkeit leidet erheblich, weil die CPU-zu-GPU-Übertragung langsam ist.

Text-Encoder-Auslagerung

Text-Encoder werden nur zu Beginn der Generierung benötigt, um Ihren Prompt zu codieren.

Die Auslagerung zur CPU nach dem Codieren gibt Speicher für den Haupt-Diffusionsprozess frei.

Die Geschwindigkeitsauswirkung ist minimal, da das Codieren ein kleiner Teil der Gesamtzeit ist.

VAE-Auslagerung

VAEs decodieren Latents am Ende der Generierung zu Bildern.

Die Auslagerung des VAE während der Diffusion gibt Speicher für das Hauptmodell frei.

Der VAE lädt am Ende für die Decodierung neu, was einen geringen Zeitaufwand hinzufügt.

Sequentielle Auslagerung

Sequentielle Auslagerung verschiebt Modell-Layer während der Berechnung einzeln zur GPU.

Jeder Layer wird geladen, berechnet, dann entladen. Minimaler GPU-Speicher erforderlich.

Extrem langsam, aber ermöglicht sehr große Modelle auf sehr kleinen GPUs.

Wann Auslagerung verwenden

Text-Encoder-Auslagerung hat minimale Geschwindigkeitsauswirkung und lohnende Speichereinsparungen. Standardmäßig verwenden.

VAE-Auslagerung hilft, wenn VAE mit dem Hauptmodell um Speicher konkurriert. Gut für begrenzten VRAM.

Vollständige Auslagerung ist der letzte Ausweg, wenn nichts anderes passt. Akzeptieren Sie langsame Generierung für die Fähigkeit, überhaupt zu laufen.

Was sind Low-VRAM-Modi?

Vorkonfigurierte Optimierungskombinationen für speicherbeschränkte Systeme.

--lowvram Flag

Aktiviert eine aggressive Optimierungskombination einschließlich Attention Slicing und Auslagerung.

Entwickelt für GPUs mit 4-8GB VRAM. Ermöglicht das Ausführen von Modellen, die sonst nicht laufen würden.

Die Geschwindigkeit ist erheblich reduziert, aber Generierung ist möglich.

--medvram Flag

Moderate Optimierung für 8-12GB GPUs.

Weniger aggressiv als lowvram mit besserer Geschwindigkeit.

Guter Ausgangspunkt, wenn Ihre GPU für ein Modell grenzwertig ist.

--gpu-only Flag

Gegenteil von lowvram. Hält alles auf der GPU ohne Auslagerung.

Maximale Geschwindigkeit, erfordert aber ausreichend VRAM.

Verwenden Sie es, wenn Sie genug VRAM haben und schnellste Generierung wollen.

Automatische Erkennung

Einige Tools erkennen VRAM automatisch und wenden entsprechende Flags an.

Das funktioniert normalerweise, aber manuelles Überschreiben kann für spezifische Situationen besser sein.

Wenn die automatische Erkennung Probleme verursacht, setzen Sie explizit das gewünschte Flag.

Wie kombinieren Sie Optimierungen?

Mehrere Optimierungen stapeln sich für kumulativen Nutzen.

Kombination von Präzision und Attention

FP16 plus xFormers bietet beide Speicherreduzierungen.

Diese Kombination ist Standard für die meisten Setups und bietet gute Balance.

Auslagerung hinzufügen

Fügen Sie Text-Encoder-Auslagerung hinzu, um zusätzlichen Speicher freizugeben.

Die Kombination bewältigt die meisten Modelle auf den meisten Consumer-GPUs.

Progressive Eskalation

Beginnen Sie mit minimaler Optimierung. Wenn OOM, fügen Sie mehr hinzu.

Zuerst FP16, dann effiziente Attention, dann Auslagerung, dann Attention Slicing.

Finden Sie die minimale Optimierung, die für Stabilität benötigt wird.

Abnehmende Renditen

Einige Kombinationen bieten nur marginalen zusätzlichen Nutzen.

Sehr aggressive Optimierung für Modelle, die bereits passen, verschwendet Leistung.

Passen Sie den Optimierungsgrad an den tatsächlichen Bedarf an.

Für Benutzer, die optimale Generierung ohne Verwaltung dieser technischen Einstellungen wünschen, bietet Apatero.com Zugang zu richtig konfigurierter Generierungsinfrastruktur. Sie erhalten maximale Leistung ohne Flag-Konfiguration.

Häufig gestellte Fragen

Welche Flags sollte ich für 8GB VRAM verwenden?

Beginnen Sie mit --medvram oder FP16 mit xFormers und Text-Encoder-Auslagerung. Wenn immer noch OOM, fügen Sie VAE-Auslagerung hinzu oder wechseln Sie zu --lowvram.

Beeinflusst FP16 die Bildqualität?

Für Inferenz ist die Qualitätsauswirkung in fast allen Fällen nicht wahrnehmbar. FP16 ist Standard für Generierung.

Warum ist meine Generierung mit lowvram-Modus langsam?

Lowvram verwendet aggressive Auslagerung, die CPU-zu-GPU-Transfer für jede Operation erfordert. Das ist inhärent langsam, ermöglicht aber das Ausführen überhaupt.

Kann ich mehrere Attention-Optimierungen zusammen verwenden?

Nein, wählen Sie eine. xFormers, Flash Attention und SageAttention sind Alternativen, keine Ergänzungen.

Sollte ich immer die aggressivste Optimierung verwenden?

Nein, übermäßige Optimierung verschwendet Geschwindigkeit. Verwenden Sie die minimale Optimierung, die für stabilen Betrieb benötigt wird.

Was ist der Unterschied zwischen FP16 und BF16 für Generierung?

Für Inferenz sind die Ergebnisse ähnlich. BF16 handhabt Extremwerte besser, aber beide funktionieren gut für Generierung.

Hilft Attention Slicing immer?

Es reduziert Speicher, verlangsamt aber die Generierung. Verwenden Sie es nur, wenn effiziente Attention-Modi nicht ausreichen.

Können diese Optimierungen beim Training helfen?

Ja, ähnliche Optimierungen gelten für Training. Gradient Checkpointing ist besonders wichtig für Trainingsspeicher.

Warum bekomme ich immer noch OOM mit allen Optimierungen?

Das Modell benötigt möglicherweise wirklich mehr VRAM als verfügbar. Versuchen Sie kleinere Modelle oder Cloud-Instanzen.

Wie weiß ich, welche Optimierung hilft?

Aktivieren Sie eine nach der anderen und überprüfen Sie die VRAM-Nutzung. Dies identifiziert, welche Optimierungen tatsächlich helfen.

Fazit

VRAM-Optimierungsflags geben Ihnen Kontrolle über den Kompromiss zwischen Speichernutzung und Leistung. Das Verständnis dessen, was jedes Flag tut, hilft Ihnen, optimale Einstellungen für Ihre Hardware zu konfigurieren.

Für die meisten Benutzer bietet FP16- oder BF16-Präzision mit speichereffizienter Attention ausgezeichnete Ergebnisse. Fügen Sie Auslagerung hinzu, wenn Sie zusätzliche Speichereinsparungen benötigen.

Reservieren Sie aggressive Optimierungen wie Attention Slicing für Situationen, in denen nichts anderes funktioniert. Die Geschwindigkeitskosten sind hoch.

Passen Sie Ihren Optimierungsgrad an Ihre tatsächlichen Bedürfnisse an. Mehr ist nicht immer besser, da unnötige Optimierung Leistung verschwendet.

Für Benutzer, die automatische Optimierung ohne Flag-Verwaltung bevorzugen, bietet Apatero.com Zugang zu Generierung mit professioneller Konfiguration. Sie erhalten optimale Leistung, ohne jedes Flag selbst verstehen zu müssen.