Peu après la sortie du modèle SDXL, les équipes de Stability AI, créateur de Stable Diffusion, ont partagé une variante nommée SDXL v1.0 w/ VAE. Cette sortie a semé une certaine confusion dans l'esprit des utilisateurs - et continue à poser questions aux nouveaux utilisateurs.
Nous allons éclaircir tout cela pour vous.
Qu’est ce qu’un VAE ?
De base, un VAE est un fichier annexé au modèle Stable Diffusion, permettant d'embellir les couleurs et d'affiner les tracés des images, leur conférant ainsi une netteté et un rendu remarquables.
Un VAE, ou Variational Auto-Encoder, est une sorte de réseau neuronal destiné à apprendre une représentation compacte des données. Il est particulièrement efficace pour générer de nouvelles données similaires à celles sur lesquelles il a été entraîné.
En pratique, le VAE est nécessaire pour décompresser le résultat de génération d’image par l’IA. En effet, pour réduire les calculs nécessaire, Stable Diffusion travaille avec une représentation réduite des images et des pixels qui les composent.
Sous forme compactée, les images sur lesquelles travaille Stable Diffusion sont 8 fois plus petites - mais elle ne peuvent pas être visualisées. L’algorithme du VAE va alors pouvoir restituer l’image finale avec un minimum de pertes et même corrigeant certains détails comme les couleurs ou le tracés des images.
Quant à SDXL v1.0, son VAE est intégré de manière native et s'active automatiquement, sous réserve que vous ayez téléchargé le bon fichier de modèle .safetensors (voir ci-dessous). Comme le processus de génération standard de SDXL s'exécute en deux phases, avec deux modèles diffèrents (Base et Refiner), il faut donc télécharger le bon fichier pour les deux.
Quelle version utiliser ?
Il existe donc deux version des modèles SDXL, l’une avec et l’autre sans VAE.
La majorité des utilisateurs utiliseront les modèle avec VAE.
La version brut, sans VAE, est prévue pour les utilisateurs avancés qui entraînent des modèles en utilisant le modèle de base et incorporent leurs propres VAE personnalisés.
Voici les liens de téléchargement pour les modèles
SDXL 1.0 Base Model
✅ SDXL v1.0 Base avec VAE : https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/blob/main/sd_xl_base_1.0_0.9vae.safetensors
❌ SDXL v1.0 Base sans VAE : https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/blob/main/sd_xl_base_1.0.safetensors
SDXL 1.0 Refiner
✅ SDXL v1.0 Refiner avec VAE: https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/blob/main/sd_xl_refiner_1.0_0.9vae.safetensors
❌ SDXL v1.0 Refiner sans VAE : https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/blob/main/sd_xl_refiner_1.0.safetensors
Pour apprendre comment utiliser ces modèles (Base + Refiner), consultez notre article sur l’utilisation de Stable Diffusion avec Automatic1111.
Ecrit par