Flags de Otimização de VRAM Explicados - Guia ComfyUI e Geração com IA

ComfyUI e ferramentas de geração com IA têm dezenas de flags e configurações de otimização de VRAM. Você viu termos como --lowvram, attention slicing, FP16 e descarregamento para CPU, mas não tem certeza do que eles realmente fazem ou quais usar. Entender esses flags ajuda você a maximizar o desempenho no seu hardware específico.

Resposta Rápida: Flags de otimização de VRAM controlam como os modelos usam memória GPU através de técnicas como precisão reduzida FP16 e BF16, modos de computação de atenção e descarregamento para CPU. Flags principais incluem --lowvram para otimização agressiva automática, --gpu-only para manter tudo na GPU, modos de atenção como xFormers ou SageAttention, e flags de precisão que equilibram qualidade contra memória. Escolha flags com base na sua quantidade de VRAM e necessidades de geração.

VRAM é a restrição principal para geração local de IA. Entender flags de otimização permite que você execute modelos que de outra forma excederiam seu hardware ou obtenha melhor desempenho de modelos que mal cabem. Vamos desmistificar cada categoria principal de otimização.

O Que os Flags de Precisão Fazem?

Configurações de precisão controlam como os números são armazenados, afetando diretamente memória e qualidade.

FP32 Precisão Total

FP32 usa 32 bits por número. Isso fornece precisão numérica máxima, mas usa mais memória.

Pesos do modelo, ativações e gradientes todos ocupam 4 bytes cada em FP32.

Quase nenhuma geração de IA realmente precisa de FP32. É o padrão em algumas ferramentas, mas raramente é ótimo.

FP16 Meia Precisão

FP16 usa 16 bits por número, reduzindo a memória pela metade versus FP32.

O impacto na qualidade é geralmente imperceptível para inferência. A geração parece igual.

FP16 pode ter problemas com números muito grandes ou pequenos devido ao alcance dinâmico limitado. Isso importa mais para treinamento que para inferência.

A maioria das ferramentas de geração usa FP16 por padrão. É bem testado e confiável.

BF16 Brain Float

BF16 também usa 16 bits, mas com alocação diferente entre expoente e mantissa.

Tem o mesmo alcance dinâmico que FP32, mas menos precisão. Isso lida melhor com treinamento que FP16.

Requer GPUs Ampere ou mais recentes. Séries RTX 30 e acima suportam BF16 nativamente.

Para inferência, BF16 e FP16 produzem resultados similares. BF16 tem vantagens para treinamento.

FP8 e INT8

GPUs mais recentes suportam formatos de precisão ainda mais baixos para operações específicas.

FP8 usa 8 bits e fornece outra redução de 50% de memória sobre FP16. O impacto na qualidade varia.

Quantização INT8 é principalmente para otimização de inferência. Modelos precisam de preparação consciente de quantização.

Esses formatos são úteis para executar modelos maiores ou alcançar maior throughput quando o tradeoff de qualidade é aceitável.

Escolhendo Precisão

Para a maioria dos usuários, FP16 ou BF16 fornece o melhor equilíbrio. Metade da memória de FP32 sem perda de qualidade perceptível.

Use FP8 quando precisar caber modelos maiores ou executar mais rápido e puder aceitar redução potencial de qualidade.

Use FP32 apenas se você vir artefatos numéricos com precisão mais baixa, o que é raro.

Como os Modos de Atenção Afetam a Memória?

Computação de atenção é intensiva em memória e se beneficia muito de otimização.

Atenção Padrão

A atenção padrão do PyTorch computa a matriz de atenção completa de uma vez.

O uso de memória escala quadraticamente com o comprimento da sequência. Imagens de alta resolução têm sequências longas.

Isso funciona, mas deixa potencial de otimização significativo não utilizado.

Atenção Eficiente em Memória xFormers

xFormers implementa atenção em pedaços em vez de tudo de uma vez.

O uso de memória se torna quase linear em vez de quadrático. Isso permite resoluções muito mais altas.

A velocidade frequentemente melhora também porque eficiência de memória ajuda a utilização da GPU.

xFormers deve ser instalado separadamente. É amplamente suportado e bem testado.

Flash Attention

Flash Attention funde operações de atenção para minimizar transferências de memória.

É mais rápido que atenção padrão e mais eficiente em memória.

Requer GPUs Ampere ou mais recentes. Nem todas as ferramentas o suportam ainda.

SageAttention

SageAttention usa kernels Triton personalizados para atenção.

O desempenho é tipicamente melhor que xFormers com benefícios de memória similares.

Requer instalação do Triton e pode precisar de compilação para sua GPU.

Attention Slicing

Attention slicing processa atenção em pequenos lotes sequencialmente.

Reduz drasticamente a memória, mas desacelera significativamente a geração.

Use como último recurso quando outras otimizações de atenção não são suficientes.

Escolhendo Modo de Atenção

Tente SageAttention ou Flash Attention primeiro se sua configuração os suportar. Melhor desempenho e memória.

Volte para xFormers para compatibilidade ampla e bons resultados.

Use attention slicing apenas quando você não conseguir executar com nenhum modo de atenção eficiente.

O Que o Descarregamento de Modelo Faz?

Descarregamento move componentes do modelo para CPU para liberar memória GPU.

Descarregamento Completo de Modelo

Com descarregamento agressivo, apenas a parte do modelo que está ativamente computando fica na GPU.

Componentes se movem entre CPU e GPU conforme necessário. Isso reduz drasticamente o uso de VRAM.

A velocidade sofre significativamente porque transferência CPU para GPU é lenta.

Descarregamento de Codificador de Texto

Codificadores de texto são necessários apenas no início da geração para codificar seu prompt.

Descarregá-los para CPU após codificação libera memória para o processo principal de difusão.

O impacto na velocidade é mínimo já que codificação é uma pequena parte do tempo total.

Descarregamento de VAE

VAEs decodificam latentes para imagens no final da geração.

Descarregar o VAE durante a difusão libera memória para o modelo principal.

O VAE recarrega para decodificação no final, adicionando pequena sobrecarga de tempo.

Descarregamento Sequencial

Descarregamento sequencial move camadas do modelo para GPU uma de cada vez durante a computação.

Cada camada carrega, computa, depois descarrega. Memória GPU mínima necessária.

Extremamente lento, mas permite modelos muito grandes em GPUs muito pequenas.

Quando Usar Descarregamento

Descarregamento de codificador de texto tem impacto mínimo na velocidade e economias de memória que valem a pena. Use por padrão.

Descarregamento de VAE ajuda quando VAE compete com modelo principal por memória. Bom para VRAM limitada.

Descarregamento completo é último recurso quando nada mais cabe. Aceite geração lenta pela capacidade de executar de todo.

O Que São Modos de Baixa VRAM?

Combinações de otimização pré-configuradas para sistemas com restrição de memória.

Flag --lowvram

Habilita combinação de otimização agressiva incluindo attention slicing e descarregamento.

Projetado para GPUs com 4-8GB de VRAM. Faz modelos executarem que de outra forma não executariam.

A velocidade é significativamente reduzida, mas a geração é possível.

Flag --medvram

Otimização moderada para GPUs de 8-12GB.

Menos agressivo que lowvram com melhor velocidade.

Bom ponto de partida se sua GPU está no limite para um modelo.

Flag --gpu-only

Oposto de lowvram. Mantém tudo na GPU sem descarregamento.

Velocidade máxima, mas requer VRAM suficiente.

Use quando você tem bastante VRAM e quer geração mais rápida.

Detecção Automática

Algumas ferramentas auto-detectam VRAM e aplicam flags apropriados.

Isso geralmente funciona, mas substituição manual pode ser melhor para situações específicas.

Se auto-detecção causa problemas, defina explicitamente o flag que você quer.

Como Você Combina Otimizações?

Múltiplas otimizações se empilham para benefício cumulativo.

Combinando Precisão e Atenção

FP16 mais xFormers fornece ambas as reduções de memória.

Esta combinação é padrão para a maioria das configurações e fornece bom equilíbrio.

Adicionando Descarregamento

Adicione descarregamento de codificador de texto para liberar memória adicional.

A combinação lida com a maioria dos modelos na maioria das GPUs de consumo.

Escalada Progressiva

Comece com otimização mínima. Se OOM, adicione mais.

FP16 primeiro, depois atenção eficiente, depois descarregamento, depois attention slicing.

Encontre a otimização mínima necessária para estabilidade.

Retornos Decrescentes

Algumas combinações fornecem benefício adicional marginal.

Otimização muito agressiva para modelos que já cabem desperdiça desempenho.

Corresponda o nível de otimização à necessidade real.

Para usuários que querem geração ótima sem gerenciar essas configurações técnicas, Apatero.com fornece acesso a infraestrutura de geração propriamente configurada. Você obtém desempenho máximo sem configuração de flags.

Perguntas Frequentes

Que flags devo usar para 8GB de VRAM?

Comece com --medvram ou FP16 com xFormers e descarregamento de codificador de texto. Se ainda OOM, adicione descarregamento de VAE ou mude para --lowvram.

FP16 afeta a qualidade da imagem?

Para inferência, o impacto na qualidade é imperceptível em quase todos os casos. FP16 é padrão para geração.

Por que minha geração é lenta com modo lowvram?

Lowvram usa descarregamento agressivo que requer transferência CPU para GPU para cada operação. Isso é inerentemente lento, mas permite executar de todo.

Posso usar múltiplas otimizações de atenção juntas?

Não, escolha uma. xFormers, Flash Attention e SageAttention são alternativas, não complementos.

Devo sempre usar a otimização mais agressiva?

Não, otimização excessiva desperdiça velocidade. Use otimização mínima necessária para operação estável.

Qual a diferença entre FP16 e BF16 para geração?

Para inferência, os resultados são similares. BF16 lida melhor com valores extremos, mas ambos funcionam bem para geração.

Attention slicing sempre ajuda?

Reduz memória, mas desacelera geração. Use apenas se modos de atenção eficientes não são suficientes.

Essas otimizações podem ajudar com treinamento?

Sim, otimizações similares se aplicam ao treinamento. Gradient checkpointing é especialmente importante para memória de treinamento.

Por que ainda recebo OOM com todas as otimizações?

O modelo pode genuinamente precisar de mais VRAM do que disponível. Tente modelos menores ou instâncias na nuvem.

Como sei qual otimização está ajudando?

Habilite uma de cada vez e verifique uso de VRAM. Isso identifica quais otimizações realmente ajudam.

Conclusão

Flags de otimização de VRAM dão controle sobre o tradeoff entre uso de memória e desempenho. Entender o que cada flag faz ajuda você a configurar configurações ótimas para seu hardware.

Para a maioria dos usuários, precisão FP16 ou BF16 com atenção eficiente em memória fornece excelentes resultados. Adicione descarregamento quando precisar de economias de memória adicionais.

Reserve otimizações agressivas como attention slicing para situações onde nada mais funciona. O custo de velocidade é alto.

Corresponda seu nível de otimização às suas necessidades reais. Mais nem sempre é melhor já que otimização desnecessária desperdiça desempenho.

Para usuários que preferem otimização automática sem gerenciamento de flags, Apatero.com fornece acesso a geração com configuração profissional. Você obtém desempenho ótimo sem entender cada flag você mesmo.