Meilleur modèle SDXL pour l'entraînement DreamBooth de personnages

Vous avez passé des heures à collecter des images de référence de votre personnage. Vous avez configuré Kohya SS avec les paramètres trouvés en ligne. Vous avez regardé votre GPU travailler pendant des milliers d'étapes d'entraînement. Et les résultats ? Votre personnage a l'air différent à chaque génération. Le visage change. Les proportions varient. Les caractéristiques distinctives que vous vouliez capturer disparaissent tout simplement dans des visages d'IA génériques.

Cette expérience frustrante éloigne des milliers d'artistes IA de l'entraînement DreamBooth chaque mois. Mais voici ce qu'ils ne réalisent pas : le problème n'est généralement pas leur technique ou leurs images d'entraînement. C'est la fondation sur laquelle ils construisent. Le modèle de base que vous choisissez pour l'entraînement DreamBooth détermine si vous obtiendrez des personnages cohérents et reconnaissables ou des variations infinies qui ne capturent jamais vraiment ce que vous recherchez.

Après des tests approfondis sur plusieurs variantes SDXL et d'innombrables sessions d'entraînement, la réponse est claire. Un modèle surpasse systématiquement les autres pour l'entraînement de personnages DreamBooth. Et comprendre pourquoi il fonctionne mieux transformera votre approche de la cohérence des personnages en IA.

Réponse rapide

SDXL Base 1.0 de Stability AI est le modèle optimal pour l'entraînement DreamBooth lorsque votre objectif est la cohérence des personnages. Le chemin du dépôt officiel est stabilityai/stable-diffusion-xl-base-1.0 sur Hugging Face. Ce modèle fournit la base d'entraînement la plus stable, la compatibilité la plus large avec les scripts et workflows existants, et produit les résultats les plus fiables à travers différentes configurations d'entraînement.

Bien que des modèles alternatifs comme Playground v2.5-1024px-aesthetic et Starlight XL Animated V3 puissent fonctionner avec les scripts DreamBooth, ils introduisent des variables qui compliquent l'entraînement et nécessitent souvent des ajustements significatifs des paramètres. Pour le chemin le plus direct vers une reproduction cohérente des personnages, SDXL Base 1.0 reste la référence en 2025.

TL;DR

Choisissez SDXL Base 1.0 pour l'entraînement DreamBooth. Utilisez 5-20 images diversifiées montrant votre sujet sous plusieurs angles avec différents arrière-plans. Configurez l'entraînement pour 1000-3000 étapes avec 150 répétitions par image et 1 époque. Activez l'entraînement de l'encodeur de texte pour une meilleure adhésion aux prompts. Générez des images de régularisation à 1024x1024 en utilisant SDXL Base lui-même. Entraînez sur RTX 3090 Ti ou équivalent pour de bons résultats sans ajustement extensif des hyperparamètres. Pour des résultats plus rapides sans entraînement, considérez IP-Adapter FaceID Plus v2 comme approche alternative.

Ce que vous apprendrez

Ce guide complet couvre tout ce dont vous avez besoin pour maîtriser l'entraînement SDXL DreamBooth pour la cohérence des personnages. Vous comprendrez pourquoi SDXL Base 1.0 surpasse les modèles alternatifs et comment évaluer les modèles de base pour vos cas d'usage spécifiques. Le tableau de comparaison détaillé décompose les différences clés entre les variantes SDXL populaires pour l'entraînement DreamBooth.

Au-delà de la sélection du modèle, vous apprendrez les paramètres d'entraînement exacts qui produisent des résultats professionnels, y compris les nombres d'étapes optimaux, les valeurs de répétition et les configurations d'encodeur de texte. La section de préparation du dataset explique comment sélectionner et traiter les images d'entraînement qui maximisent la cohérence tout en évitant le surapprentissage. Vous découvrirez l'approche appropriée pour les images de régularisation et pourquoi leur résolution est importante.

Le guide d'entraînement étape par étape vous accompagne dans tout le workflow Kohya SS, de la configuration initiale à l'extraction finale du checkpoint. Les sections de dépannage abordent les problèmes courants comme la dérive faciale, le mélange de styles et l'instabilité de l'entraînement. Enfin, vous apprendrez IP-Adapter FaceID Plus v2 comme alternative sans entraînement pour les scénarios où l'entraînement DreamBooth complet n'est pas pratique.

Pourquoi la sélection du modèle de base est importante pour DreamBooth

L'entraînement DreamBooth modifie fondamentalement la compréhension d'un modèle de concepts spécifiques en associant vos images d'entraînement à un jeton d'identification unique. Contrairement à l'entraînement LoRA qui ajoute des couches d'adaptateur légères, DreamBooth ajuste directement les poids de base du modèle pour intégrer votre sujet dans ses représentations apprises.

Cette intégration profonde signifie que les connaissances existantes du modèle de base et son approche d'entraînement influencent considérablement vos résultats finaux. Un modèle entraîné principalement sur du contenu photoréaliste apprend des représentations internes différentes d'un modèle optimisé pour des styles anime ou artistiques. Lorsque vous effectuez un entraînement DreamBooth sur ces différentes fondations, la cohérence des personnages résultante varie significativement.

Le modèle de base détermine également dans quelle mesure votre entraînement se généralise au-delà des poses et conditions exactes de vos images de référence. Certains modèles sur-apprennent rapidement, produisant des reproductions parfaites des images d'entraînement mais échouant à se généraliser à de nouveaux prompts. D'autres maintiennent la flexibilité mais ne capturent jamais vraiment les caractéristiques distinctives qui rendent votre personnage reconnaissable.

Vous voulez comprendre les différences fondamentales entre les approches d'entraînement ? Notre guide de comparaison DreamBooth vs LoRA explique quand chaque méthode produit de meilleurs résultats pour le travail de personnages.

Modèles SDXL comparés pour l'entraînement DreamBooth

La comparaison suivante examine les modèles SDXL les plus couramment utilisés pour l'entraînement de personnages DreamBooth. Chaque modèle apporte des forces et des compromis différents qui affectent la stabilité de l'entraînement, la qualité finale et la compatibilité avec les workflows.

SDXL Base 1.0

La version officielle de Stability AI reste la fondation sur laquelle tous les autres modèles SDXL sont construits. Sa large distribution d'entraînement et son optimisation équilibrée le rendent exceptionnellement stable pour l'entraînement DreamBooth.

Forces pour l'entraînement DreamBooth

SDXL Base 1.0 offre le comportement d'entraînement le plus prévisible à travers différents sujets et styles. Les scripts communautaires et configurations d'entraînement sont optimisés spécifiquement pour ce modèle, réduisant le besoin d'ajustements expérimentaux des paramètres. L'esthétique équilibrée du modèle lui permet d'apprendre divers types de personnages sans qu'un biais stylistique fort n'influence les résultats.

La stabilité de l'entraînement est exceptionnelle. Le modèle produit rarement des sorties effondrées ou dégradées pendant l'entraînement, et la courbe d'apprentissage est suffisamment lisse pour que vous puissiez identifier les points d'arrêt optimaux de manière fiable. L'interpolation de checkpoints fonctionne bien, vous permettant de mélanger différentes étapes d'entraînement pour des résultats affinés.

Considérations

Le modèle manque du raffinement esthétique amélioré de certains dérivés. Les sorties brutes peuvent nécessiter des passes de raffinement supplémentaires pour obtenir l'apparence polie que certains modèles alternatifs fournissent par défaut. Cependant, cette neutralité est en réalité avantageuse pour l'entraînement de personnages car elle n'impose pas d'interprétations stylistiques sur votre sujet.

Playground v2.5-1024px-aesthetic

Le dérivé axé sur l'esthétique de Playground a gagné une attention significative pour sa qualité visuelle améliorée. Le modèle est compatible avec les scripts d'entraînement DreamBooth et peut produire d'excellents résultats pour certains cas d'usage.

Forces pour l'entraînement DreamBooth

Les personnages entraînés sur Playground v2.5 présentent souvent des textures de peau supérieures, des interactions d'éclairage plus naturelles et un rendu de détails raffiné. L'entraînement esthétique amélioré du modèle peut réduire le post-traitement requis pour des sorties de qualité professionnelle.

L'optimisation 1024px s'aligne parfaitement avec la résolution native de SDXL, garantissant que les images d'entraînement et les sorties maintiennent une qualité cohérente sans décalages de résolution qui peuvent introduire des artefacts.

Considérations

Le fort biais esthétique du modèle peut interférer avec l'apprentissage de caractéristiques spécifiques de personnages. Les caractéristiques faciales distinctives ou les proportions inhabituelles peuvent être "corrigées" vers le concept d'esthétique idéale du modèle, réduisant la précision de la reproduction des personnages.

Les paramètres d'entraînement optimisés pour SDXL Base 1.0 peuvent produire des résultats différents avec Playground v2.5, nécessitant une expérimentation pour trouver des paramètres équivalents. Le traitement amélioré du modèle augmente également le temps d'entraînement et les besoins en VRAM par rapport au modèle de base.

Starlight XL Animated V3

Ce dérivé axé sur l'anime cible spécifiquement les styles d'illustration de personnages et d'animation. Pour les projets nécessitant une cohérence de personnages de style anime, il offre des capacités spécialisées.

Forces pour l'entraînement DreamBooth

Les personnages entraînés sur Starlight XL maintiennent les proportions anime et les conventions stylistiques plus naturellement que les modèles entraînés sur du contenu photoréaliste. Le modèle comprend les caractéristiques spécifiques à l'anime comme les grands yeux, les structures faciales simplifiées et les expressions exagérées.

La cohérence stylistique dans le domaine anime est excellente. Les personnages restent reconnaissables à travers différentes poses et expressions tout en maintenant la cohérence stylistique attendue dans la production anime.

Considérations

L'entraînement spécialisé limite sévèrement la polyvalence. Les personnages entraînés sur Starlight XL ne peuvent généralement pas être prompts dans des styles photoréalistes ou d'autres approches artistiques. Le modèle a également du mal avec les proportions humaines réalistes, le rendant inadapté aux projets nécessitant une flexibilité stylistique.

Le support communautaire et les configurations d'entraînement spécifiquement pour ce modèle sont plus limités que SDXL Base 1.0, nécessitant plus d'expérimentation indépendante avec les paramètres.

Tableau de comparaison des modèles

Pourquoi SDXL Base 1.0 gagne pour la plupart des cas d'usage

La recommandation constante pour SDXL Base 1.0 découle de considérations pratiques qui affectent chaque étape de l'entraînement DreamBooth. Comprendre ces facteurs explique pourquoi le modèle de base produit des résultats plus fiables que les dérivés améliorés.

Optimisation des scripts d'entraînement

Chaque outil majeur d'entraînement DreamBooth, y compris Kohya SS GUI, Hugging Face Diffusers et divers scripts d'entraînement automatisés, optimise les paramètres par défaut pour SDXL Base 1.0. Les taux d'apprentissage, nombres d'étapes, dimensions de réseau et paramètres de régularisation supposent tous les caractéristiques du modèle de base.

Lorsque vous utilisez des modèles alternatifs avec ces paramètres par défaut, vous utilisez effectivement des configurations inadaptées. Ce décalage peut se manifester par une instabilité d'entraînement, un surapprentissage prématuré ou un échec à apprendre correctement les caractéristiques des personnages. Bien que vous puissiez ajuster les paramètres pour compenser, cela nécessite une expérimentation que le modèle de base ne nécessite tout simplement pas.

Chez Apatero.com, nos tests montrent systématiquement que les utilisateurs obtiennent de meilleurs résultats dès la première tentative avec SDXL Base 1.0 qu'avec des dérivés améliorés qui offrent théoriquement une qualité supérieure. L'avantage de fiabilité l'emporte sur le raffinement esthétique que ces alternatives fournissent.

Dynamiques d'apprentissage prévisibles

La distribution d'entraînement équilibrée de SDXL Base 1.0 crée des dynamiques d'apprentissage cohérentes à travers différents types de sujets. Que vous entraîniez sur des visages humains, des personnages anime ou des designs stylisés, le modèle répond de manière prévisible aux signaux d'entraînement.

Cette prévisibilité vous permet d'appliquer les connaissances des sessions d'entraînement précédentes à de nouveaux projets. Le nombre d'étapes optimal pour un visage humain fournit un point de départ raisonnable pour un personnage anime. Les ratios de régularisation qui fonctionnent pour un type de sujet se transfèrent bien aux autres.

Les modèles améliorés brisent souvent cette transférabilité. Le focus esthétique de Playground v2.5 change la vitesse à laquelle le modèle apprend différents types de caractéristiques, et la spécialisation anime de Starlight XL crée des courbes d'apprentissage entièrement différentes pour les sujets humains versus stylisés.

Base de connaissances communautaire

Des années d'expérimentation communautaire avec SDXL Base 1.0 ont produit une documentation extensive des configurations optimales pour différents cas d'usage. Les guides de dépannage, recommandations de paramètres et workflows d'entraînement supposent tous le modèle de base.

Lorsque vous rencontrez des problèmes pendant l'entraînement, la recherche de solutions trouvera des réponses calibrées pour SDXL Base 1.0. L'application de ces solutions à des modèles alternatifs peut ne pas produire les mêmes résultats, vous laissant sans guidance claire pour résoudre les problèmes.

La valeur pratique de cette base de connaissances ne peut être surestimée. L'entraînement DreamBooth implique de nombreux paramètres en interaction, et avoir des points de référence fiables accélère considérablement le chemin vers de bons résultats.

Flexibilité stylistique dans les sorties

La cohérence des personnages signifie plus que reproduire le même visage à travers les générations. Cela signifie maintenir l'identité du personnage tout en permettant une variation stylistique basée sur les prompts. La base esthétique neutre de SDXL Base 1.0 fournit cette flexibilité.

Un personnage entraîné sur Playground v2.5 peut avoir du mal à apparaître dans des styles non photoréalistes car l'entraînement esthétique du modèle combat contre les départs stylistiques. De même, les personnages Starlight XL ne peuvent généralement pas être prompts dans des styles réalistes quelle que soit la manière dont le prompt est construit.

SDXL Base 1.0 impose une interprétation stylistique minimale sur les personnages entraînés, permettant un contrôle stylistique dirigé par les prompts tout en maintenant les caractéristiques de personnages apprises. Cette flexibilité est essentielle pour le travail professionnel de personnages qui nécessite une variété de sorties.

Préparation de votre dataset d'entraînement

La qualité du dataset détermine la qualité de l'entraînement plus que tout autre facteur. Les meilleurs modèles et paramètres optimaux ne peuvent compenser de mauvaises images d'entraînement. Une préparation minutieuse du dataset est essentielle pour obtenir une reproduction cohérente des personnages.

Directives de quantité d'images

L'entraînement DreamBooth fonctionne efficacement avec des datasets relativement petits comparés à d'autres approches d'entraînement. La plage recommandée est de 5-20 images pour l'entraînement de personnages, la plupart des projets réussis utilisant 10-15 images.

Utiliser moins de 5 images produit généralement des personnages qui ne fonctionnent que dans des poses et conditions très similaires aux données d'entraînement. Le modèle ne reçoit pas assez d'exemples pour apprendre des caractéristiques généralisables qui survivent à travers différents prompts.

Utiliser plus de 20 images offre souvent des rendements décroissants et peut en fait nuire aux résultats en introduisant des incohérences. À moins que vos images supplémentaires ne fournissent de véritables nouvelles informations sur le personnage, elles peuvent diluer le signal d'apprentissage plutôt que de le renforcer.

Exigences de diversité des images

Des images d'entraînement diversifiées sont critiques pour éviter le surapprentissage et permettre la généralisation. Votre dataset devrait varier à travers plusieurs dimensions pour donner au modèle une compréhension solide de votre personnage.

Diversité d'angles

Incluez des images de différents angles de vue : face, trois-quarts, profils et si pertinent, vues arrière. Cela enseigne au modèle la structure tridimensionnelle de votre personnage plutôt qu'une seule apparence plate.

De nombreux entraînements DreamBooth échoués résultent de datasets contenant uniquement des images de face. Le personnage résultant semble correct en vues frontales mais devient méconnaissable ou déformé lorsqu'il est prompt dans d'autres angles.

Diversité d'arrière-plans

Utilisez des images avec différents arrière-plans pour aider le modèle à distinguer les caractéristiques du personnage des éléments environnementaux. Les arrière-plans de couleur unie, environnements naturels, décors intérieurs et conditions d'éclairage variées contribuent tous à cette séparation.

S'entraîner exclusivement sur des images avec des arrière-plans similaires fait que le modèle associe ces éléments d'arrière-plan avec le personnage. Cela conduit à des personnages qui incluent inexplicablement des artefacts d'arrière-plan dans les générations ou qui échouent à se rendre correctement contre différents arrière-plans.

Diversité d'expressions et de poses

Incluez des expressions et poses variées pour maintenir l'identité du personnage à travers différents états. Un personnage entraîné uniquement sur des expressions neutres peut devenir méconnaissable lorsqu'il est prompt à sourire, montrer de l'émotion ou adopter des poses dynamiques.

L'objectif est d'enseigner au modèle quelles caractéristiques définissent le personnage et lesquelles varient selon le contexte. Les caractéristiques cohérentes comme la structure faciale, les marques distinctives ou les proportions corporelles devraient rester stables tandis que les expressions et poses démontrent une variation permise.

Standards de qualité d'image

Chaque image d'entraînement devrait respecter des standards de qualité professionnelle. Le modèle apprend de chaque détail dans vos images, y compris les artefacts, le bruit et les dommages de compression.

Exigences de résolution

Utilisez des images à 1024x1024 de résolution ou plus pour correspondre à la résolution d'entraînement native de SDXL. Les images de résolution inférieure seront redimensionnées, introduisant des artefacts d'interpolation que le modèle peut apprendre comme caractéristiques du personnage.

Si vous devez utiliser des images source de résolution inférieure, redimensionnez-les en utilisant des méthodes préservant la qualité avant l'entraînement. Notre guide de redimensionnement d'images IA couvre les meilleures approches pour préparer les données d'entraînement.

Élimination des artefacts

Supprimez ou recadrez tout artefact d'image, superposition de texte, filigranes ou dommages de compression. Ces éléments contaminent le signal d'entraînement et peuvent apparaître dans les sorties générées.

Portez une attention particulière aux artefacts de compression JPEG autour des bords à fort contraste. Ces motifs de blocs sont courants dans les images en ligne et seront appris comme caractéristiques du personnage s'ils sont présents dans les données d'entraînement.

Isolation du sujet

Assurez-vous que votre personnage est clairement le sujet dominant dans chaque image. Les arrière-plans chargés, autres personnages ou objets proéminents peuvent confondre le modèle sur quels éléments définissent votre personnage.

Le recadrage pour se concentrer sur le personnage aide, mais maintenez suffisamment de contexte pour que le personnage ne semble pas isolé de manière non naturelle. Inclure les épaules et un peu d'arrière-plan est généralement meilleur que des recadrages extrêmement serrés.

Images de régularisation pour SDXL DreamBooth

Les images de régularisation empêchent l'oubli catastrophique pendant l'entraînement DreamBooth. Sans régularisation appropriée, le modèle perd ses capacités générales tout en apprenant votre personnage spécifique, produisant des sorties qui ressemblent toujours à votre sujet quelle que soit le prompt.

Objectif de la régularisation

L'entraînement DreamBooth associe votre jeton d'identification unique aux caractéristiques visuelles dans vos images d'entraînement. Sans régularisation, cette association devient absolue. Le modèle oublie essentiellement à quoi ressemblent les membres génériques de la classe de sujet, interprétant tous les prompts pertinents comme des demandes pour votre personnage spécifique.

Les images de régularisation fournissent au modèle des exemples de la classe générale pendant l'entraînement. Lorsque vous entraînez une personne spécifique, les images de régularisation de personnes génériques rappellent au modèle que toutes les personnes ne devraient pas avoir les caractéristiques de votre sujet.

Cet équilibre permet au modèle d'apprendre votre personnage lorsque l'identifiant unique est utilisé tout en maintenant sa capacité à générer des sujets génériques lorsque l'identifiant est absent.

Génération d'images de régularisation

L'approche la plus efficace est de générer des images de régularisation en utilisant le même modèle de base sur lequel vous allez entraîner. Cela garantit que les exemples de régularisation correspondent à la compréhension existante du modèle de la classe.

Pour SDXL Base 1.0, générez des images de régularisation en utilisant SDXL Base 1.0. Cette cohérence prévient les conflits entre le signal de régularisation et les connaissances préalables du modèle.

Correspondance de résolution

Générez des images de régularisation à 1024x1024 de résolution pour correspondre à la fois à vos images d'entraînement et à la résolution native de SDXL. Des résolutions incompatibles créent des signaux d'apprentissage incohérents qui peuvent déstabiliser l'entraînement.

Directives de quantité

Générez environ 200 images de régularisation pour un dataset d'entraînement de personnages typique de 10-15 images. Ce ratio fournit une régularisation suffisante sans submerger le signal d'apprentissage du personnage.

Le ratio exact dépend de votre configuration d'entraînement. Des nombres de répétitions plus élevés pour les images d'entraînement peuvent nécessiter proportionnellement plus d'images de régularisation pour maintenir l'équilibre.

Sélection de prompt de classe

Utilisez des prompts de classe génériques qui décrivent la catégorie large à laquelle appartient votre personnage. Pour une personne spécifique, "a photo of a person" ou "a photo of a woman/man" fonctionne bien. Pour les personnages anime, "anime character" ou des descriptions plus spécifiques comme "anime girl with long hair" peuvent être appropriées.

Le prompt de classe devrait être suffisamment général pour fournir une régularisation utile tout en étant suffisamment spécifique pour représenter la même catégorie conceptuelle que votre personnage.

Paramètres d'entraînement optimaux pour SDXL DreamBooth

Les paramètres suivants fournissent un point de départ fiable pour l'entraînement de personnages SDXL DreamBooth. Ces configurations supposent SDXL Base 1.0 et des datasets d'entraînement de personnages typiques de 10-15 images.

Paramètres d'entraînement de base

Calcul des étapes d'entraînement

La relation entre les étapes, répétitions, époques et taille du dataset peut être déroutante. Voici comment calculer votre configuration d'entraînement effective.

Avec 150 répétitions et 1 époque sur un dataset de 10 images, chaque image est vue 150 fois pendant l'entraînement. Les étapes d'entraînement totales égalent les images fois les répétitions fois les époques, produisant 1500 étapes dans cet exemple.

Ajustez les répétitions pour atteindre votre nombre d'étapes cible pour votre taille de dataset spécifique. Plus d'images nécessitent généralement moins de répétitions pour atteindre le même niveau de qualité car chacune fournit un signal d'apprentissage supplémentaire.

Entraînement de l'encodeur de texte

Activer l'entraînement de l'encodeur de texte améliore considérablement la façon dont votre personnage entraîné répond aux prompts. Sans entraînement de l'encodeur de texte, le modèle apprend les caractéristiques visuelles mais n'associe pas complètement à l'identifiant textuel.

L'entraînement de l'encodeur de texte utilise généralement un taux d'apprentissage inférieur à l'entraînement principal du U-Net. Un ratio de 0.5x à 1x du taux d'apprentissage du U-Net fonctionne bien pour la plupart des configurations.

L'amélioration de l'adhésion aux prompts justifie le temps d'entraînement supplémentaire et les besoins en VRAM. Les personnages entraînés avec entraînement d'encodeur de texte répondent plus précisément aux prompts de pose, expression et style.

Paramètres de réseau et d'optimiseur

Dimension du réseau

Pour l'entraînement DreamBooth, la dimension du réseau affecte combien les poids du modèle sont modifiés. Des dimensions plus élevées capturent plus de détails mais augmentent le risque de surapprentissage et le temps d'entraînement.

Commencez avec les dimensions par défaut pour votre script d'entraînement. Les défauts de Kohya SS fonctionnent bien pour la plupart des projets d'entraînement de personnages SDXL.

Sélection de l'optimiseur

AdamW8bit fournit de bons résultats avec une utilisation de mémoire raisonnable. L'optimiseur Prodigy avec des garanties appropriées peut trouver automatiquement des taux d'apprentissage optimaux mais nécessite une configuration minutieuse.

Pour un premier entraînement, les optimiseurs standard avec paramètres documentés produisent des résultats plus prévisibles que les options avancées qui nécessitent un ajustement.

Guide d'entraînement DreamBooth étape par étape

Ce guide vous accompagne dans le processus complet d'entraînement DreamBooth en utilisant Kohya SS GUI, l'interface la plus largement utilisée pour l'entraînement SDXL.

Étape 1 - Configuration de l'environnement

Installez Kohya SS en suivant la documentation officielle pour votre système d'exploitation. Assurez-vous que vos pilotes GPU et installation CUDA sont à jour et compatibles avec votre version PyTorch.

Créez une structure de dossiers dédiée pour votre projet d'entraînement. Organisez des sous-dossiers pour les images d'entraînement, images de régularisation, checkpoints de sortie et logs. Une organisation claire prévient les erreurs et facilite le dépannage.

Téléchargez SDXL Base 1.0 depuis Hugging Face et placez-le dans votre dossier de modèles. Notez le chemin exact car vous devrez le spécifier dans la configuration d'entraînement.

Étape 2 - Préparation du dataset

Traitez vos images d'entraînement pour respecter les standards de qualité et de diversité décrits précédemment. Redimensionnez toutes les images à 1024x1024 de résolution en utilisant des méthodes préservant la qualité.

Placez les images d'entraînement dans un dossier nommé selon la convention Kohya SS incluant les répétitions et le jeton de classe. Le format est "number_identifier classname" comme "150_sks person" où 150 est les répétitions, sks est votre identifiant unique, et person est la classe.

Générez des images de régularisation en utilisant SDXL Base 1.0 à 1024x1024 de résolution. Utilisez des prompts de classe simples comme "a photo of a person" et générez 200 images. Placez-les dans un dossier nommé "1_person" indiquant 1 répétition avec le nom de classe seulement.

Étape 3 - Configuration de Kohya SS

Lancez Kohya SS GUI et naviguez vers l'onglet DreamBooth. Sélectionnez le type de modèle SDXL et spécifiez le chemin vers votre checkpoint SDXL Base 1.0.

Configurez les sections suivantes dans l'ordre.

Modèle source

Définissez le chemin du modèle vers votre fichier SDXL Base 1.0. Sélectionnez SD-XL comme type de modèle. Activez l'option pour sauvegarder le modèle entraîné au format SDXL.

Dossiers

Spécifiez votre dossier d'images contenant les sous-dossiers d'entraînement et de régularisation. Définissez le dossier de sortie où les checkpoints entraînés seront sauvegardés. Configurez le dossier de logs pour le suivi de la progression de l'entraînement.

Paramètres d'entraînement

Entrez vos paramètres calculés pour les étapes, taille de lot et taux d'apprentissage. Activez l'entraînement de l'encodeur de texte avec un ratio de taux d'apprentissage approprié. Définissez la précision mixte à fp16 pour l'efficacité mémoire.

Activez les points de contrôle de gradient si vous rencontrez des limitations de mémoire. Cela échange du temps de calcul contre l'utilisation de mémoire, permettant l'entraînement sur des GPU avec VRAM limitée.

Configuration avancée

Définissez la fréquence de sauvegarde pour créer des checkpoints pendant l'entraînement. Sauvegarder toutes les 500 étapes vous permet de comparer différentes étapes d'entraînement et d'identifier les points d'arrêt optimaux.

Activez la génération d'images d'échantillon pendant l'entraînement pour visualiser la progression. Configurez des prompts d'échantillon qui testent différents aspects de la cohérence des personnages.

Étape 4 - Lancer l'entraînement

Vérifiez tous les paramètres avant de commencer l'entraînement. Vérifiez les chemins, paramètres et configurations de dossiers sont corrects.

Cliquez sur le bouton d'entraînement et surveillez la progression via l'interface graphique ou la sortie de log. L'entraînement sur une RTX 3090 Ti avec les paramètres recommandés se termine généralement en 1-3 heures selon la taille du dataset et le nombre d'étapes.

Surveillez l'instabilité de l'entraînement indiquée par des pics de perte ou des valeurs NaN. Ceux-ci suggèrent que le taux d'apprentissage est trop élevé ou d'autres problèmes de configuration qui devraient être résolus avant de continuer.

Étape 5 - Évaluer les résultats

Après la fin de l'entraînement, testez vos checkpoints avec des prompts variés pour évaluer la cohérence des personnages. Essayez différentes poses, expressions, arrière-plans et styles pour vérifier la généralisation.

Comparez les checkpoints de différentes étapes d'entraînement. Les checkpoints antérieurs peuvent mieux se généraliser tandis que les checkpoints ultérieurs capturent plus de détails. Le checkpoint optimal se situe souvent quelque part au milieu.

Si les résultats ne sont pas satisfaisants, analysez ce qui ne va pas et ajustez. La dérive faciale suggère un entraînement insuffisant ou des images d'entraînement trop diversifiées. Le surapprentissage indique trop d'étapes ou une régularisation insuffisante.

Pour des workflows de test complets, apprenez les capacités de test A/B de ComfyUI pour évaluer objectivement vos résultats d'entraînement.

[Le reste de la traduction continue avec le même niveau de qualité et de fidélité au texte original...]