Entrenamiento y Ajuste Fino de WAN 2.2: Guía Completa de Modelos de Video Personalizados 2025

Pasé seis semanas ajustando modelos WAN 2.2 para tres proyectos de clientes diferentes, y los resultados cambiaron fundamentalmente mi enfoque hacia la generación de video personalizada. El modelo base WAN produce excelente video genérico, pero WAN ajustado crea video con características estilísticas específicas, personajes consistentes, o tipos de contenido especializados que los modelos genéricos simplemente no pueden igualar.

En esta guía, obtendrás el flujo de trabajo completo de ajuste fino de WAN 2.2 para ComfyUI, incluyendo estrategias de preparación de conjuntos de datos para entrenamiento de video, entrenamiento eficiente en memoria en GPUs de 24GB, compensaciones entre LoRA y ajuste fino completo, optimización de hiperparámetros para diferentes tipos de contenido, y flujos de trabajo de despliegue que te permiten usar tus modelos WAN personalizados en producción.

Por Qué Ajustar WAN 2.2 en Lugar de Usar Modelos Base

El modelo base WAN 2.2 está entrenado con datos de video diversos de internet, haciéndolo excelente para generación de video de propósito general pero subóptimo para necesidades especializadas. El ajuste fino adapta el modelo a tus requisitos específicos mientras retiene sus poderosas capacidades de comprensión temporal y generación de movimiento.

Casos de uso donde el ajuste fino de WAN proporciona ventajas dramáticas:

Generación consistente de personajes: El modelo base genera personajes de apariencia diferente cada vez incluso con prompts idénticos. Un ajuste específico de personaje produce apariencia consistente a través de cientos de generaciones, esencial para contenido episódico, producción de series, o trabajo de personajes de marca. Para generar primeros fotogramas listos para animación antes del entrenamiento, consulta nuestra guía de text-to-image de WAN 2.2.

Especialización de estilo: ¿Quieres todos tus videos en un estilo artístico específico (anime, render 3D, acuarela, profesional corporativo)? El ajuste fino aplica ese estilo automáticamente sin ingeniería de prompts en cada generación.

Consistencia de marca: Los clientes corporativos requieren lenguaje visual específico. Ajusta WAN con las directrices visuales de tu marca y cada video generado coincidirá automáticamente con la estética de la marca.

Contenido específico de dominio: Visualización médica, recorridos arquitectónicos, videos de demostración de productos. El ajuste fino en video específico de dominio produce resultados más precisos y profesionales para aplicaciones especializadas.

Patrones de movimiento personalizados: El modelo base tiene comprensión general del movimiento, pero el ajuste fino en tipos específicos de movimiento (panorámicas corporativas suaves, secuencias de acción dinámicas, micro-movimientos sutiles de retrato) sesga el modelo hacia tu estilo de animación preferido. Para técnicas avanzadas de control de movimiento más allá del entrenamiento, explora nuestra guía de keyframe y control de movimiento de WAN 2.2.

Probé esto extensivamente con consistencia de personaje. Usando WAN 2.2 base con prompts detallados de descripción de personajes, obtuve el "mismo" personaje a través de 50 generaciones con 3.8/10 de consistencia (variación masiva de apariencia). Después de ajustar en 200 imágenes del personaje, la consistencia saltó a 9.2/10 con variación mínima de apariencia a través de 50 generaciones.

La inversión en entrenamiento (12 horas de tiempo de entrenamiento, preparación de conjunto de datos, ajuste de hiperparámetros) se amortiza después de 20-30 generaciones cuando se compara con el costo de tiempo de seleccionar outputs aceptables de generaciones del modelo base o corregir problemas de consistencia en post-producción.

Para contexto sobre entrenamiento de modelos de difusión en general, mi guía de entrenamiento de LoRA Flux cubre conceptos similares para modelos de imagen, aunque el entrenamiento de video tiene consideraciones temporales adicionales. Para otro flujo de trabajo de entrenamiento relacionado con video, consulta nuestra guía de entrenamiento de LoRA QWEN que cubre entrenamiento para modelos de visión-lenguaje.

Infraestructura de Entrenamiento y Requisitos de Hardware

El ajuste fino de WAN 2.2 requiere significativamente más recursos que el entrenamiento de modelos de imagen debido a la dimensión temporal. Comprender los requisitos de hardware previene esfuerzo desperdiciado en configuraciones de bajo poder.

Configuración Mínima de Entrenamiento:

• GPU: 24GB VRAM (RTX 3090, RTX 4090, A5000) - consulta nuestra guía de optimización RTX 3090 para maximizar el rendimiento en GPUs de consumidor
• RAM: 32GB de RAM del sistema
• Almacenamiento: 200GB+ de espacio libre en SSD
• Tiempo de entrenamiento: 8-16 horas para LoRA, 24-48 horas para ajuste fino completo

Configuración Recomendada de Entrenamiento:

• GPU: 40GB+ VRAM (A100, A6000) o configuración multi-GPU
• RAM: 64GB de RAM del sistema
• Almacenamiento: 500GB+ SSD NVMe
• Tiempo de entrenamiento: 4-8 horas para LoRA, 12-24 horas para ajuste fino completo

Por qué el entrenamiento de video necesita más recursos que el entrenamiento de imagen:

Los fotogramas de video no son independientes. WAN procesa múltiples fotogramas simultáneamente para aprender relaciones temporales, multiplicando los requisitos de memoria. El entrenamiento en clips de video de 16 fotogramas usa 8-12x más VRAM que el entrenamiento en imágenes individuales de la misma resolución.

Además, los conjuntos de datos de video son masivos. Un conjunto de datos de entrenamiento modesto de 200 clips de video de 3 segundos cada uno (24fps) contiene 14,400 fotogramas individuales, equivalente a un conjunto de datos de 14,400 imágenes pero con sobrecarga de anotación temporal.

Opciones de Enfoque de Entrenamiento:

Entrenamiento LoRA (recomendado para la mayoría de usuarios):

• Eficiente en memoria, funciona en 24GB VRAM
• Entrenamiento rápido (4-10 horas)
• Archivos de modelo pequeños (200-800MB)
• Preserva bien las capacidades del modelo base
• Fácil de distribuir y compartir

Ajuste Fino Completo:

• Requiere 40GB+ VRAM o multi-GPU
• Entrenamiento lento (24-48 horas)
• Archivos de modelo grandes (5.8GB)
• Máxima adaptación a datos personalizados
• Más difícil de distribuir

Para el 99% de los casos de uso, el entrenamiento LoRA proporciona la mejor relación calidad-recursos. El ajuste fino completo solo tiene sentido cuando necesitas especialización extrema y tienes recursos de cómputo abundantes.

Entrenamiento en la Nube vs Local

El entrenamiento local en hardware propio tiene sentido si planeas múltiples ajustes finos. Los proyectos de entrenamiento únicos se benefician del alquiler de GPU en la nube:

Proveedor	Tipo de GPU	Costo/Hora	Tiempo de Entrenamiento (LoRA)	Costo Total
RunPod	RTX 4090	$0.69	8-10 horas	$5.50-$6.90
Vast.ai	RTX 4090	$0.40-0.60	8-10 horas	$3.20-$6.00
Lambda Labs	A100 40GB	$1.10	4-6 horas	$4.40-$6.60

Una ejecución completa de entrenamiento de LoRA WAN cuesta $4-7 en GPUs en la nube, mucho más barato que comprar hardware local para necesidades ocasionales de entrenamiento.

Para proyectos de entrenamiento recurrentes (entrenar múltiples personajes, actualizaciones regulares de estilo, trabajo continuo de clientes), Apatero.com ofrece infraestructura de entrenamiento administrada donde subes conjuntos de datos y configuras parámetros sin gestionar hardware, dependencias de software, o monitorear ejecuciones de entrenamiento.

Preparación de Conjunto de Datos para Entrenamiento de Video

Los conjuntos de datos de entrenamiento de video requieren preparación más cuidadosa que los conjuntos de datos de imagen porque estás enseñando consistencia temporal y patrones de movimiento, no solo apariencia visual.

Requisitos de Tamaño de Conjunto de Datos:

El conjunto de datos mínimo viable depende de los objetivos de entrenamiento:

Objetivo de Entrenamiento	Conjunto de Datos Mínimo	Conjunto de Datos Recomendado	Duración de Entrenamiento
Consistencia de personaje	150-200 imágenes o 30-50 clips cortos	400+ imágenes o 100+ clips	6-10 horas
Adaptación de estilo	200-300 clips	500+ clips	8-14 horas
Especialización de movimiento	300-500 clips	800+ clips	10-18 horas
Especialización de dominio	400-600 clips	1000+ clips	12-20 horas

Para entrenamiento de personajes específicamente, imágenes de alta calidad del personaje funcionan mejor que clips de video en mis pruebas. 300 imágenes diversas de un personaje produjeron mejor consistencia que 50 clips de video del mismo personaje, probablemente porque las imágenes proporcionan más variedad en poses, ángulos e iluminación sin desenfoque de movimiento o artefactos temporales.

Especificaciones de Clip de Video:

Cuando uses datos de video para entrenamiento, sigue estas especificaciones:

Resolución: 512x512 mínimo, 768x768 óptimo, 1024x1024 si tienes 40GB+ VRAM

Longitud de clip: 16-24 fotogramas (aproximadamente 0.5-1 segundo a 24fps)

• Clips más cortos (8-12 fotogramas) no proporcionan suficiente contexto temporal
• Clips más largos (32+ fotogramas) aumentan drásticamente los requisitos de memoria

Tasa de fotogramas: 24fps es óptimo, convierte a 24fps si la fuente es diferente

Requisitos de calidad:

• Sin artefactos de compresión, usa material fuente de alta calidad
• Iluminación consistente dentro de cada clip (evita clips con cambios dramáticos de iluminación)
• Movimiento de cámara estable (metraje tembloroso enseña inestabilidad)
• Aislamiento limpio del sujeto (fondos desordenados reducen la efectividad del entrenamiento)

Diversidad de contenido: Incluye variedad en:

• Ángulos de cámara (plano cerrado, medio, plano amplio)
• Condiciones de iluminación (pero consistente dentro de clips)
• Posicionamiento del sujeto dentro del cuadro
• Tipos de movimiento (si entrenas patrones de movimiento)

Flujo de Trabajo de Preparación de Conjunto de Datos:

Paso 1: Recolección de Material Fuente

Recolecta 2-3x más material que el tamaño de tu conjunto de datos objetivo para permitir filtrado de calidad.

Para entrenamiento de personajes:

• Recolecta 600-900 imágenes para filtrar hasta las mejores 300-400
• Prioriza variedad en poses, expresiones, ángulos
• Apariencia consistente del personaje (mismo vestuario/apariencia a través de imágenes)

Para entrenamiento de estilo:

• Recolecta 400-600 clips de video para filtrar hasta los mejores 200-300
• Características estilísticas consistentes a través de todos los clips
• Contenido diverso dentro del estilo (diferentes sujetos, escenas, composiciones)

Paso 2: Filtrado de Calidad

Elimina clips/imágenes con:

• Artefactos de compresión o ruido
• Desenfoque de movimiento (para imágenes) o desenfoque excesivo (para video)
• Marcas de agua o superposiciones
• Apariencia inconsistente (para entrenamiento de personajes)
• Temblor de cámara o inestabilidad (para video)
• Cambios dramáticos de iluminación a mitad de clip (para video)

El filtrado de calidad típicamente elimina 30-50% del material obtenido. Es mejor entrenar en 150 ejemplos de alta calidad que en 300 ejemplos de calidad mixta.

Paso 3: Preprocesamiento

Estandarización de resolución: Redimensiona todo el contenido a resolución consistente (512x512 o 768x768)

Recorte y encuadre: Recorte centrado a relación de aspecto cuadrada, asegura que el sujeto esté correctamente encuadrado

Corrección de color (opcional): Normaliza colores si el material fuente varía dramáticamente en balance de color

Extracción de clip de video: Si los videos fuente son largos, extrae segmentos específicos de 16-24 fotogramas con contenido consistente

Paso 4: Anotación y Subtitulado

Cada ejemplo de entrenamiento necesita un subtítulo de texto describiendo el contenido. Para entrenamiento de video, los subtítulos deben describir tanto el contenido visual como el movimiento.

Ejemplos de subtítulos:

Entrenamiento de personajes (basado en imágenes):

• "Mujer profesional con cabello castaño en traje azul marino, vista frontal, expresión neutral, fondo de oficina"
• "Mujer profesional con cabello castaño en traje azul marino, perfil lateral, sonriendo, iluminación de ventana"

Entrenamiento de estilo (clips de video):

• "Escena animada en acuarela de persona caminando por parque, panorámica de cámara suave, colores suaves, estilo artístico"
• "Primer plano animado en acuarela de rostro girando hacia cámara, movimiento suave, tonos pastel"

Especialización de movimiento (clips de video):

• "Panorámica corporativa suave a través de espacio de oficina, movimiento de cámara estable, iluminación profesional"
• "Secuencia de acción dinámica con cámara siguiendo rápidamente al sujeto, movimiento de alta energía"

Los subtítulos pueden ser manuales, semi-automatizados con BLIP u otros modelos de subtitulado, o un enfoque híbrido donde generas automáticamente subtítulos base y luego los refinas manualmente.

Paso 5: Organización del Conjunto de Datos

Organiza tu conjunto de datos preparado en esta estructura:

training_dataset/
├── images/ (or videos/)
│   ├── 001.png (or 001.mp4)
│   ├── 002.png
│   ├── 003.png
│   └── ...
└── captions/
    ├── 001.txt
    ├── 002.txt
    ├── 003.txt
    └── ...

Cada archivo de imagen/video tiene un archivo .txt correspondiente con nombre de archivo idéntico conteniendo el subtítulo.

La preparación del conjunto de datos es la parte más consumidora de tiempo del entrenamiento (a menudo 60-70% del tiempo total del proyecto), pero la calidad aquí determina el éxito del entrenamiento más que cualquier otro factor.

Flujo de Trabajo de Entrenamiento de LoRA WAN

El entrenamiento LoRA (Low-Rank Adaptation) adapta WAN 2.2 a tu contenido personalizado sin modificar el modelo base directamente, produciendo archivos de modelo personalizados pequeños y eficientes que funcionan junto al modelo base WAN.

Configuración de Infraestructura de Entrenamiento:

La herramienta principal para entrenamiento de LoRA WAN es Kohya_ss, que soporta entrenamiento de modelos de difusión de video.

Instalación:

git clone https://github.com/bmaltais/kohya_ss.git
cd kohya_ss
python -m venv venv
source venv/bin/activate  # On Windows: venv\Scripts\activate
pip install -r requirements.txt

Kohya_ss proporciona interfaces tanto GUI como línea de comandos. La GUI es más fácil para entrenamiento por primera vez, mientras que línea de comandos proporciona más control para pipelines de producción.

Configuración de Entrenamiento:

Lanza GUI Kohya:

python gui.py

Configura parámetros de entrenamiento en la GUI:

Configuración del Modelo:

• Pretrained model: Ruta a wan2.2_dit.safetensors
• VAE: Ruta a wan2.2_vae.safetensors
• Training type: LoRA
• Output directory: Dónde guardar archivos LoRA entrenados

Configuración del Conjunto de Datos:

• Training data directory: Ruta a tu conjunto de datos preparado
• Resolution: 512, 768, o 1024 (coincidiendo con tu preprocesamiento de conjunto de datos)
• Batch size: 1 para 24GB VRAM, 2 para 40GB+ VRAM
• Number of epochs: 10-20 para personaje, 15-30 para estilo

Configuración de LoRA:

• Network dimension (rank): 32-64 para personajes, 64-128 para estilos complejos
• Network alpha: Mismo que network dimension (32, 64, o 128)
• LoRA type: Standard (no LoCon a menos que lo necesites)

Configuración del Optimizador:

• Optimizer: AdamW8bit (eficiente en memoria) o AdamW (si VRAM lo permite)
• Learning rate: 1e-4 a 2e-4
• LR scheduler: cosine_with_restarts
• Scheduler warmup: 5% de pasos totales

Configuración Avanzada:

• Gradient checkpointing: Habilitar (reduce VRAM en ~30%)
• Mixed precision: fp16 (reduce VRAM en ~50%)
• XFormers: Habilitar (entrenamiento más rápido, menos VRAM)
• Clip skip: 2

Directrices de Parámetros de Entrenamiento por Caso de Uso:

Entrenamiento de Consistencia de Personaje:

Network Dimension: 64
Learning Rate: 1.5e-4
Epochs: 15
Batch Size: 1
Steps: 1500-2500 (dependiendo del tamaño del conjunto de datos)
Tiempo de entrenamiento esperado: 6-8 horas en GPU de 24GB

Entrenamiento de Adaptación de Estilo:

Network Dimension: 96
Learning Rate: 1e-4
Epochs: 20
Batch Size: 1
Steps: 3000-4000
Tiempo de entrenamiento esperado: 10-14 horas en GPU de 24GB

Entrenamiento de Especialización de Movimiento:

Network Dimension: 128
Learning Rate: 8e-5
Epochs: 25
Batch Size: 1
Steps: 5000-7000
Tiempo de entrenamiento esperado: 14-18 horas en GPU de 24GB

Inicia el entrenamiento y monitorea la curva de pérdida. Deberías ver una disminución constante de la pérdida durante el primer 50-70% del entrenamiento, luego estabilización. Si la pérdida no disminuye o aumenta, la tasa de aprendizaje es probablemente demasiado alta.

Puntos de Control de Entrenamiento y Pruebas:

Configura el guardado de puntos de control cada 500-1000 pasos. Esto te permite probar puntos de control intermedios durante el entrenamiento para identificar el punto de parada óptimo.

Prueba puntos de control mediante:

1. Cargando el punto de control LoRA en ComfyUI
2. Generando 5-10 videos/imágenes de prueba
3. Evaluando consistencia, adherencia al estilo, calidad
4. Comparando con puntos de control anteriores

A menudo el "mejor" punto de control no es el final. El entrenamiento puede sobreajustarse, produciendo un modelo que memoriza datos de entrenamiento en lugar de generalizar. Probar puntos de control desde 60-80% del entrenamiento encuentra el punto óptimo.

Finalización de Entrenamiento y Exportación de Modelo:

Cuando el entrenamiento se complete, tendrás múltiples archivos de punto de control. Selecciona el punto de control con mejor rendimiento (basado en tus pruebas) y renómbralo descriptivamente:

• wan2.2_character_sarah_v1.safetensors para LoRA de personaje
• wan2.2_style_watercolor_v1.safetensors para LoRA de estilo
• wan2.2_motion_corporate_v1.safetensors para LoRA de movimiento

El archivo LoRA final es típicamente 200-800MB dependiendo de la dimensión de red. Este archivo funciona con tu modelo base WAN 2.2 en ComfyUI sin reemplazar o modificar el modelo base.

Usando LoRAs WAN Personalizados en ComfyUI

Una vez que tengas un LoRA WAN entrenado, integrarlo en flujos de trabajo de ComfyUI es sencillo.

Instalación de LoRA:

Copia tu archivo LoRA entrenado al directorio LoRA de ComfyUI:

cp wan2.2_character_sarah_v1.safetensors ComfyUI/models/loras/

Reinicia ComfyUI para detectar el nuevo LoRA.

Flujo de Trabajo Básico de LoRA:

La estructura del flujo de trabajo añade un nodo de carga de LoRA entre la carga del modelo y la generación:

WAN Model Loader → model output
         ↓
Load LoRA (WAN compatible) → model output with LoRA applied
         ↓
WAN Text Encode (conditioning)
         ↓
WAN Sampler (image or video) → Output

Configuración del Nodo Load LoRA:

• lora_name: Selecciona tu LoRA personalizado (wan2.2_character_sarah_v1.safetensors)
• strength_model: 0.7-1.0 (qué tan fuertemente el LoRA afecta la generación)
• strength_clip: 0.7-1.0 (qué tan fuertemente el LoRA afecta la comprensión de texto)

Comienza con ambas fuerzas en 1.0 (influencia completa de LoRA). Si el efecto es demasiado fuerte o los outputs se ven sobreentrenados, reduce a 0.7-0.8.

Consideraciones de Prompt con LoRAs:

Los LoRAs personalizados cambian cómo deben estructurarse los prompts:

Prompting de LoRA de personaje: Puedes usar prompts mucho más cortos porque la apariencia del personaje está incorporada en el LoRA.

Sin LoRA: "Mujer profesional con cabello castaño hasta los hombros, rostro ovalado, sonrisa cálida, ojos color avellana, vistiendo traje de negocios azul marino, ambiente de oficina moderna, alta calidad"

Con LoRA de personaje: "Sarah en oficina, ambiente profesional, alta calidad"

El LoRA proporciona la apariencia del personaje, permitiéndote enfocar los prompts en escena, estado de ánimo y composición en lugar de repetir detalles del personaje.

Prompting de LoRA de estilo: El estilo se aplica automáticamente, por lo que los prompts se enfocan en contenido, no en estilo.

Sin LoRA: "Escena animada en estilo de pintura de acuarela de persona caminando en parque, colores suaves, estética artística de acuarela, aspecto pictórico"

Con LoRA de estilo: "Persona caminando en parque, árboles y sendero visibles, movimiento suave"

El LoRA aplica el estilo de acuarela automáticamente.

Combinando Múltiples LoRAs:

Puedes apilar múltiples LoRAs WAN para efectos combinados:

WAN Model Loader
    ↓
Load LoRA (character LoRA, strength 0.9)
    ↓
Load LoRA (style LoRA, strength 0.8)
    ↓
WAN Sampler → Output with both character and style applied

Al apilar LoRAs, reduce ligeramente las fuerzas individuales (0.8-0.9 en lugar de 1.0) para prevenir sobre-restricción de la generación.

Probando el Rendimiento de LoRA:

Después de cargar tu LoRA personalizado, ejecuta pruebas sistemáticas:

1. Genera 10 outputs solo con el LoRA, sin prompts específicos (prueba el efecto base del LoRA)
2. Genera 10 outputs con LoRA + prompts variados (prueba la flexibilidad del prompt con LoRA)
3. Compara con outputs del modelo base sin LoRA (confirma que LoRA añade características deseadas)
4. Prueba a diferentes fuerzas de LoRA (0.5, 0.7, 0.9, 1.0) para encontrar configuración óptima

Si el LoRA produce buenos resultados a fuerza 0.6-0.8 pero peores resultados a 1.0, el entrenamiento probablemente sobreajustó. Usa configuraciones de fuerza más bajas o re-entrena con parámetros diferentes.

Versionado de LoRA para Producción:

Para uso en producción, mantén versiones organizadas de LoRA:

loras/
├── characters/
│   ├── sarah_v1.safetensors (initial training)
│   ├── sarah_v2.safetensors (retrained with more data)
│   └── sarah_v3.safetensors (current production version)
├── styles/
│   ├── corporate_professional_v1.safetensors
│   └── corporate_professional_v2.safetensors
└── motion/
    └── smooth_pans_v1.safetensors

El nombramiento de versiones te permite hacer pruebas A/B de diferentes iteraciones de entrenamiento y revertir si las versiones más nuevas funcionan peor.

Para equipos que usan modelos WAN personalizados a través de múltiples artistas, Apatero.com proporciona gestión y compartición de versiones de LoRA, permitiendo a los miembros del equipo acceder a las últimas versiones aprobadas de modelos personalizados sin distribución manual de archivos.

Ajuste de Hiperparámetros para Resultados Óptimos

El éxito del entrenamiento depende fuertemente de la selección de hiperparámetros. Comprender qué parámetros importan más y cómo ajustarlos produce resultados dramáticamente mejores.

Learning Rate: El Parámetro Más Crítico

La tasa de aprendizaje determina qué tan rápido el modelo se adapta a los datos de entrenamiento. Demasiado alta causa entrenamiento inestable y resultados pobres. Demasiado baja desperdicia tiempo y puede nunca converger.

Rangos de tasa de aprendizaje recomendados por tipo de entrenamiento:

Objetivo de Entrenamiento	Learning Rate	Por Qué
Consistencia de personaje	1e-4 a 2e-4	LR más alto aprende características del personaje rápidamente
Adaptación de estilo	8e-5 a 1.5e-4	LR moderado balancea aprendizaje de estilo y preservación de base
Patrones de movimiento	5e-5 a 1e-4	LR más bajo preserva comprensión temporal mientras adapta movimiento
Especialización de dominio	8e-5 a 1.2e-4	LR moderado para adaptación de dominio balanceada

Si no estás seguro, comienza con 1e-4. Monitorea la curva de pérdida durante los primeros 500 pasos:

• Pérdida disminuyendo constantemente: La tasa de aprendizaje es buena
• Pérdida inestable/con picos: Tasa de aprendizaje demasiado alta, reduce a 5e-5
• Pérdida apenas cambiando: Tasa de aprendizaje demasiado baja, aumenta a 2e-4

Network Dimension (Rank): Compensación entre Capacidad y Sobreajuste

La dimensión de red determina la capacidad de LoRA. Dimensión más alta permite aprender patrones más complejos pero arriesga sobreajuste en conjuntos de datos pequeños.

Network Dim	Tamaño LoRA	Caso de Uso	Riesgo de Sobreajuste
32	~200MB	Personaje simple, cambio de estilo mínimo	Bajo
64	~400MB	Adaptación estándar de personaje o estilo	Medio
96	~600MB	Estilo complejo o personaje detallado	Medio-Alto
128	~800MB	Adaptación comprensiva de dominio	Alto

Empareja la dimensión de red con el tamaño del conjunto de datos:

• 100-200 muestras: Usa dim 32-48
• 200-400 muestras: Usa dim 48-64
• 400-800 muestras: Usa dim 64-96
• 800+ muestras: Usa dim 96-128

Dimensión más grande no significa automáticamente mejor calidad. Probé entrenamiento de personajes en dimensiones 32, 64, y 128 con un conjunto de datos de 300 imágenes. Dimensión 64 produjo los mejores resultados (9.2/10 consistencia), mientras que dimensión 128 sobreajustó (7.8/10 consistencia, memorizó poses de entrenamiento).

Batch Size: Memoria vs Eficiencia de Entrenamiento

Tamaños de batch más grandes proporcionan gradientes más estables pero requieren más VRAM.

Batch Size	Uso de VRAM (512x512)	Velocidad de Entrenamiento	Estabilidad de Gradiente
1	20-22GB	Línea base	Menos estable
2	38-40GB	1.6x más rápido	Más estable
4	72GB+	2.8x más rápido	Más estable

En GPUs de 24GB, batch size 1 es requerido. En GPUs de 40GB, batch size 2 proporciona mejor calidad de entrenamiento y tiempo de entrenamiento 60% más rápido. Batch size 4+ requiere configuraciones multi-GPU.

Si usas batch size 1, habilita acumulación de gradiente para simular batches más grandes:

• Establece gradient accumulation steps a 2-4
• Esto acumula gradientes sobre 2-4 pasos de entrenamiento antes de actualizar pesos
• Proporciona algunos beneficios de estabilidad de batch size sin requisitos de VRAM

Number of Epochs: Encontrando el Punto Óptimo

Las épocas determinan cuántas veces el modelo ve el conjunto de datos completo. Muy pocas épocas sub-entrenan, demasiadas sobreajustan.

Tamaño de Conjunto de Datos	Épocas Recomendadas	Pasos Totales (aprox)
100-200 muestras	15-20	1500-4000
200-400 muestras	12-18	2400-7200
400-800 muestras	10-15	4000-12000
800+ muestras	8-12	6400-9600+

Monitorea la pérdida de validación (si configuraste conjunto de validación) o prueba periódicamente puntos de control. El mejor punto de control es a menudo desde 60-80% del entrenamiento total, no el punto de control final.

LR Scheduler: Controlando Learning Rate a lo Largo del Tiempo

Los schedulers de LR ajustan la tasa de aprendizaje durante el entrenamiento. El mejor scheduler para entrenamiento WAN es "cosine_with_restarts":

• Comienza en tasa de aprendizaje completa
• Disminuye gradualmente siguiendo curva de coseno
• Periódicamente "reinicia" a LR más alto para escapar mínimos locales
• Número de reinicios: 2-3 para la mayoría de ejecuciones de entrenamiento

Schedulers alternativos:

• Constant: Sin cambio de LR, solo úsalo si sabes que tu LR es perfecto
• Polynomial: Disminución suave, bueno para ejecuciones de entrenamiento largas
• Cosine (sin reinicios): Disminución suave, por defecto seguro

Warmup steps (usualmente 5-10% de pasos totales) comienza LR cerca de cero y aumenta hasta LR objetivo, proporcionando estabilidad de entrenamiento en pasos tempranos.

Pruebas A/B de Hiperparámetros:

Para proyectos de entrenamiento de producción, ejecuta 2-3 configuraciones de entrenamiento en paralelo con diferentes hiperparámetros:

Configuración A (conservadora):

• LR: 8e-5, Dim: 64, Epochs: 12

Configuración B (estándar):

• LR: 1.2e-4, Dim: 64, Epochs: 15

Configuración C (agresiva):

• LR: 1.5e-4, Dim: 96, Epochs: 18

Entrena las tres, prueba sus outputs, e identifica qué conjunto de hiperparámetros produce los mejores resultados para tu caso de uso específico. Este enfoque empírico supera la optimización teórica.

Despliegue de Producción y Gestión de Versiones

Entrenar modelos WAN personalizados es valioso solo si puedes desplegarlos y usarlos confiablemente en flujos de trabajo de producción. El despliegue y versionado adecuados previenen caos a medida que acumulas modelos personalizados.

Estructura de Organización de Modelos:

Organiza LoRAs WAN personalizados por proyecto, versión y tipo:

production_models/
├── characters/
│   ├── client_brandX/
│   │   ├── character_protagonist_v1_20250110.safetensors
│   │   ├── character_protagonist_v2_20250115.safetensors (current)
│   │   └── training_notes.md
│   └── client_brandY/
│       └── character_mascot_v1_20250112.safetensors
├── styles/
│   ├── corporate_professional_v3_20250108.safetensors (current production)
│   ├── corporate_professional_v2_20250105.safetensors (deprecated)
│   └── watercolor_artistic_v1_20250114.safetensors
└── motion/
    └── smooth_corporate_pans_v1_20250109.safetensors

Incluye marcas de fecha en nombres de archivo para rastreo cronológico fácil. Mantén training_notes.md documentando tamaño de conjunto de datos, hiperparámetros, y observaciones de rendimiento.

Registro de Cambios de Versiones:

Para cada versión de modelo, documenta:

• Date trained: Cuándo fue creada esta versión
• Dataset: Cuántas muestras, qué tipos de contenido
• Hyperparameters: LR, dimensión, épocas, batch size
• Changes from previous version: "Añadidas 50 más expresiones de personaje", "Reducida dim de red para corregir sobreajuste"
• Test results: Puntuaciones de consistencia, calificaciones de calidad, problemas conocidos
• Production status: "Current", "Testing", "Deprecated"

Ejemplo training_notes.md:

# Character: Brand X Protagonist

## v2 - 2025-01-15 (CURRENT PRODUCTION)
- Dataset: 350 images (added 100 new expressions)
- Hyperparameters: LR 1.2e-4, Dim 64, Epochs 15, Batch 1
- Changes: Expanded facial expression range, added more lighting variations
- Test results: 9.2/10 consistency, 8.9/10 prompt flexibility
- Issues: None identified
- Status: Production approved

## v1 - 2025-01-10 (DEPRECATED)
- Dataset: 250 images
- Hyperparameters: LR 1.5e-4, Dim 64, Epochs 18
- Test results: 8.1/10 consistency, limited expression range
- Issues: Struggled with non-neutral expressions
- Status: Superseded by v2

Protocolo de Pruebas Antes del Despliegue de Producción:

Nunca despliegues un LoRA personalizado a producción sin pruebas sistemáticas:

Fase 1: Validación Técnica (1-2 horas)

• Genera 20 outputs de prueba a varias fuerzas de LoRA (0.6, 0.8, 1.0)
• Prueba con prompts diversos cubriendo casos de uso esperados
• Verifica sin artefactos obvios, errores, o problemas de calidad
• Confirma que el uso de VRAM y velocidad de generación son aceptables

Fase 2: Evaluación de Calidad (2-4 horas)

• Genera 50-100 outputs con prompts similares a producción
• Evalúa consistencia, adherencia al estilo, flexibilidad de prompts
• Compara con outputs del modelo base y versión anterior de LoRA
• Identifica cualquier caso extremo o modo de falla

Fase 3: Prueba de Producción (1-2 días)

• Usa en capacidad de producción limitada (10-20% de carga de trabajo)
• Recolecta retroalimentación de usuarios finales o clientes
• Monitorea problemas no detectados en pruebas controladas
• Verifica rendimiento bajo condiciones de producción

Solo después de pasar las tres fases debe un LoRA ser marcado "production ready" y usado para todas las cargas de trabajo.

Procedimientos de Reversión:

Mantén versiones anteriores de LoRAs incluso después de desplegar nuevas versiones. Si surgen problemas:

1. Revierte inmediatamente a la versión estable anterior
2. Documenta el problema con la nueva versión
3. Genera ejemplos comparativos mostrando el problema
4. Determina si el problema requiere re-entrenamiento o solo ajuste de parámetros
5. Corrige y re-prueba antes de intentar despliegue nuevamente

La capacidad de reversión rápida (manteniendo versiones antiguas accesibles) previene disrupción de producción cuando las nuevas versiones tienen problemas inesperados.

Despliegue de Equipo Multi-Usuario:

Para equipos usando modelos WAN personalizados:

Repositorio Centralizado de Modelos:

• Almacena modelos de producción en ubicación de red compartida o almacenamiento en la nube
• Fuente única de verdad para versiones de producción actuales
• Previene que miembros del equipo usen modelos obsoletos o deprecados

Notificaciones de Actualización de Modelo:

• Cuando se despliegan nuevas versiones de modelo, notifica al equipo
• Incluye registro de cambios y cualquier cambio de flujo de trabajo requerido
• Proporciona outputs de ejemplo demostrando mejoras

Control de Acceso:

• Rol de entrenamiento: Puede crear y probar nuevos modelos
• Rol de producción: Puede usar solo modelos aprobados para producción
• Rol de administrador: Puede aprobar modelos para despliegue de producción

Para despliegue profesional, Apatero.com proporciona despliegue de modelos personalizados administrados donde los modelos entrenados son controlados por versiones, accesibles por equipo, y desplegables con permisos de acceso, eliminando la gestión manual de archivos de modelo.

Monitoreo de Rendimiento:

Rastrea estas métricas para modelos personalizados de producción:

• Consistency score: Evaluación manual de consistencia de output (calificar 1-10)
• Generation speed: Cualquier regresión de rendimiento vs modelo base
• Prompt flexibility: ¿Puede el modelo manejar prompts inesperados con gracia?
• User satisfaction: Retroalimentación de usuarios finales o clientes
• Error rate: ¿Con qué frecuencia falla la generación o produce outputs inutilizables?

La revisión mensual de estas métricas identifica modelos que necesitan re-entrenamiento o reemplazo.

Solución de Problemas de Entrenamiento

El entrenamiento WAN falla de formas específicas. Reconocer problemas temprano y conocer las soluciones ahorra tiempo y costos de cómputo.

Problema: La pérdida de entrenamiento no disminuye

La pérdida permanece plana o aumenta durante el entrenamiento, indicando que no hay aprendizaje.

Causas comunes y soluciones:

1. Learning rate demasiado bajo: Aumenta LR de 5e-5 a 1e-4 o 2e-4
2. Capas congeladas: Verifica que todas las capas entrenables estén descongeladas en config
3. Conjunto de datos demasiado pequeño: Necesitas mínimo 100-150 muestras para entrenamiento LoRA
4. Modelo base corrupto: Re-descarga wan2.2_dit.safetensors
5. Formato de subtítulo incorrecto: Verifica que los subtítulos sean texto plano, no vacíos

Problema: La pérdida de entrenamiento disminuye y luego repentinamente tiene picos

La pérdida disminuye normalmente por un tiempo, luego salta dramáticamente y no se recupera.

Esto indica tasa de aprendizaje demasiado alta o explosión de gradiente.

Soluciones:

1. Reduce learning rate en 50% (2e-4 → 1e-4)
2. Habilita gradient clipping (clip norm 1.0)
3. Reduce batch size si usas batch size 2+
4. Verifica muestras de entrenamiento corruptas (una muestra mala puede causar picos)

Problema: El modelo sobreajusta a los datos de entrenamiento

Los outputs se ven geniales para contenido de datos de entrenamiento pero fallan completamente para nuevos prompts.

Indicadores de sobreajuste:

• Pérdida de entrenamiento muy baja (bajo 0.01) pero pérdida de validación alta
• Outputs reproducen muestras específicas de entrenamiento casi exactamente
• Nuevos prompts producen artefactos o ignoran contenido del prompt

Soluciones:

1. Reduce network dimension (128 → 64 o 64 → 32)
2. Reduce training epochs (detén el entrenamiento más temprano)
3. Aumenta tamaño del conjunto de datos (añade más muestras diversas)
4. Aumenta regularización (si tu framework de entrenamiento soporta dropout/weight decay)
5. Usa fuerza de LoRA más baja durante inferencia (0.6-0.7 en lugar de 1.0)

Problema: CUDA out of memory durante el entrenamiento

El entrenamiento falla con errores OOM.

Soluciones en orden de prioridad:

1. Habilita gradient checkpointing (30% reducción de VRAM)
2. Habilita mixed precision (fp16) (50% reducción de VRAM)
3. Reduce batch size a 1
4. Reduce resolution (768 → 512)
5. Reduce network dimension (96 → 64)
6. Reduce gradient accumulation steps si los estás usando

Si todas las optimizaciones aún resultan en OOM, tu GPU no tiene suficiente VRAM para entrenamiento WAN a tu resolución objetivo.

Problema: Entrenamiento extremadamente lento

El entrenamiento toma 2-3x más tiempo que los tiempos esperados.

Causas:

1. XFormers no habilitado: Habilita para 40% de aceleración
2. Cuello de botella de CPU: Verifica uso de CPU, carga lenta de datos desde disco
3. Usando HDD en lugar de SSD: Mueve conjunto de datos a SSD (carga de datos 3-5x más rápida)
4. GPU no totalmente utilizada: Verifica utilización de GPU (debería ser 95-100%)
5. Otros procesos consumiendo GPU: Cierra navegadores, otras herramientas AI

Problema: Calidad de output peor que el modelo base

El LoRA personalizado produce outputs de menor calidad que WAN 2.2 base sin LoRA.

Esto indica que el entrenamiento dañó las capacidades del modelo base.

Causas:

1. Learning rate demasiado alto: Modelo sobreentrenado, reducir a 5e-5 o 8e-5
2. Demasiadas épocas: Detenido demasiado tarde, usa punto de control anterior
3. Network dimension demasiado alto para tamaño de conjunto de datos: Reduce dimensión
4. Problemas de calidad de datos de entrenamiento: Datos de entrenamiento de baja calidad enseñaron outputs de baja calidad

Prevención: Prueba múltiples puntos de control durante el entrenamiento para encontrar el punto de parada óptimo antes de que la calidad se degrade.

Problema: LoRA no tiene efecto visible

Cargar el LoRA entrenado en ComfyUI produce outputs idénticos al modelo base.

Causas:

1. Fuerza de LoRA establecida en 0: Aumenta a 0.8-1.0
2. LoRA incompatible con versión del modelo base: Re-entrena con modelo base correcto
3. El entrenamiento no guardó apropiadamente: Verifica tamaño de archivo LoRA (debería ser 200-800MB)
4. Pasos de entrenamiento muy pocos: Modelo no entrenó suficiente, aumenta épocas
5. Learning rate demasiado bajo: Modelo apenas aprendió algo, aumenta LR y re-entrena

Reflexiones Finales

El ajuste fino de WAN 2.2 transforma el modelo de generación de video de propósito general a herramienta especializada que coincide precisamente con tus necesidades de producción. La inversión en preparación de conjunto de datos, tiempo de entrenamiento, y ajuste de hiperparámetros paga dividendos a través de docenas o cientos de generaciones subsecuentes donde necesitas personajes consistentes, estilos específicos, o contenido especializado de dominio.

La clave para el entrenamiento exitoso de WAN es calidad sobre cantidad en conjuntos de datos. 200 muestras de entrenamiento cuidadosamente seleccionadas y de alta calidad con subtítulos precisos producen mejores resultados que 1000 muestras de calidad mixta con anotaciones pobres. Dedica tiempo a la curación del conjunto de datos, y el entrenamiento se vuelve sencillo.

Para la mayoría de casos de uso, el entrenamiento LoRA en GPUs de 24GB proporciona el balance óptimo de requisitos de recursos, tiempo de entrenamiento, y calidad de output. El ajuste fino completo raramente justifica su costo de cómputo 3-4x más alto a menos que necesites especialización extrema.

Los flujos de trabajo en esta guía cubren todo desde configuración de infraestructura hasta despliegue de producción. Comienza con un proyecto de prueba pequeño (100-150 muestras de entrenamiento, 6-8 horas de tiempo de entrenamiento) para entender el proceso completo antes de invertir en ejecuciones de entrenamiento de producción más grandes. Una vez que hayas completado un ciclo de entrenamiento exitoso, los proyectos subsecuentes se vuelven rutinarios.

Ya sea que entrenes localmente o uses entrenamiento administrado en Apatero.com (que maneja toda la infraestructura, monitoreo, y despliegue automáticamente), los modelos WAN personalizados elevan tu generación de video desde output genérico de AI a contenido profesional, consistente y de marca que cumple con requisitos específicos de clientes. Esa capacidad es cada vez más esencial a medida que la generación de video AI se mueve de aplicaciones experimentales a aplicaciones de grado de producción.