SDXL Turbo
Stable Diffusion XL Turbo ou SDXL Turbo est un modèle de génération d'images capable de générer des images réalistes en une seule étape et en temps réel.
Alternatives à SDXL Turbo
Depuis la sortie de SDXL Turbo, de nouveaux modèles ont repris et améliorer le principe de distillation pour permettre la génération d’image en temps réels.
SDXL-Lightning et Hyper-SDXL sont les deux principales alternatives qui ont été partagées par ByteDance avec une licence d’utilisation plus libre que celle de SDXL-Turbo.
Qu’est ce que SDXL Turbo ?
SDXL Turbo est une version de Stable Diffusion XL optimisée pour générer des images de qualité en une seule étape de débruitage (step).
Ses performances permettent de transformer un texte en image en moins d’une fraction de seconde et d’ainsi atteindre une génération d’image en temps réel : l’image s’affiche et se modifie au fur et à mesure que l’utilisateur écrit sa description.
Caractéristiques et avantages de SDXL Turbo
Performances révolutionnaires
Grâce à sa technologie révolutionnaire ADD, SDXL Turbo établit une nouvelle norme en matière de génération d’images à partir de texte. Cette approche permet en effet de créer des images en une seule étape, ce qui représente un progrès considérable par rapport aux processus traditionnels.
Génération en temps réel
Idéal pour les applications exigeant rapidité et efficacité, SDXL Turbo excelle dans la génération d'images de haute qualité en temps réel. Il est donc parfaitement adapté aux environnements dynamiques tels que les jeux vidéo, la réalité virtuelle et la création de contenu instantané.
Large éventail applicatif
SDXL Turbo est polyvalent et s’adapte à de nombreuses applications. Sa capacité de génération en temps réel ouvre notamment de nouvelles possibilités dans le domaine des médias interactifs et de la création de contenu en ligne.
Qualité d'image améliorée
Contrairement aux autres modèles rapides, SDXL Turbo produit des images d'une clarté et d'une précision exceptionnelles. En s'appuyant sur les forces des réseaux adversoriels génératifs (GAN), il garantit des images nettes et vivantes, évitant les problèmes courants tels que le flou ou les artefacts.
Efficacité de calcul
Sur les GPU haut de gamme comme l'A100, SDXL Turbo peut générer une image de 512x512 en seulement 207 ms. Cette efficacité représente une amélioration monumentale en termes de temps et de consommation d'énergie par rapport aux modèles précédents.
Facile d’accès
Avec des conditions d'installation simples et une interface intuitive sur diffèrentes plates-formes, il est accessible aux professionnels comme aux amateurs, quel que soit leur bagage technique.
Comment fonctionne SDXL Turbo ?
La méthode d’entrainement et d’optimisation de SDXL Turbo est décrite dans l'article Adversarial Diffusion Distillation d'Axel Sauer et de ses collègues de Stability AI.
Les efforts précédents pour accélérer l'échantillonnage par des méthodes de distillation aboutissaient généralement à des images floues à de faibles niveaux d'échantillonnage.
D'autre part, le Generative Adversarial Network (GAN) peut générer des images nettes mais n’égale par la qualité des modèles de diffusion comme Stable Diffusion ou DALL-E.
La nouvelle méthode d'apprentissage ADD (Adversal Diffusion Distillation) vise à obtenir le meilleur des deux mondes. Le modèle étudiant (SDXL Turbo) est entraîné pour générer le même résultat que le modèle enseignant (SDXL) en une seule étape.
Ce n’est pas tout à fait nouveau : des techniques antérieures comme le Consistency model et de Distillation Progressive suivaient déjà cette voie. L'astuce pour le modèle SDXL Turbo consiste à ajouter un discriminateur GAN pour s'assurer que le modèle génère des images de haute qualité qui ne se distinguent pas du modèle enseignant.
Que vaut SDXL Turbo ?
Stability AI a comparé SDXL Turbo avec d’autres modèles de génération d’image en utilisant le même prompt (texte de description) et en demandant à des évaluateurs humains de choisir l’image qui correspond le mieux au texte, et celle qui a la meilleure qualité.
Ces tests à l’aveugle ont révélé que SDXL Turbo pouvait fournir des résultats supérieurs surpassait même une configuration à 50 étapes de SDXL avec seulement quatre étapes pour SDXL Turbo. Grâce à ces résultats, Stability AI peut désormais affirmer que SDXL Turbo surpasse les modèles multi-étapes de pointe avec des exigences de calcul « considérablement » inférieures.
De plus, SDXL Turbo apporte des améliorations majeures à la vitesse d'inférence : Sur un GPU A100, SDXL Turbo génère une image 512x512 en 207 ms (encodage rapide + une seule étape de débruitage + décodage, fp16), dont 67 ms sont imputables à une seule évaluation UNet.
Comment utiliser SDXL Turbo ?
Demo en ligne
Vous pouvez tester SDXL Turbo sur fal.ai qui offre une démonstration des capacités de génération de texte en image en temps réel du modèle. Vous pouvez y accéder à partir de votre navigateur et l'essayer gratuitement.
Une demo non-officielle est également disponible sur HuggingFace - mais celle-ci est régulièrement surchargée et n’est donc pas toujours représentative de la vitesse réelle du modèle.
Installer SDXL Turbo localement
SDXL Turbo n’étant finalement qu’une version optimisée de SDXL, il peut être installé et utiliser localement de la même manière qu’un autre modèle Stable Diffusion. Il suffit de télécharger SDXL Turbo et de l’utiliser dans votre interface favorite (en adaptant évidemment le nombre de steps)
Consultez également nos tutoriels sur l’utilisation de SDXL Turbo avec Automatic1111 et avec Fooocus.
Guides et tutoriels SDXL Turbo
En savoir plus sur SDXL Turbo
Où télécharger SDXL Turbo ?
Vous pouvez le modèle et le code de SDXL Turbo sur Hugging Face, une plateforme de partage et de collaboration sur les modèles d’IA et d'apprentissage automatique.
Le modèle est actuellement publié sous une licence de recherche non commerciale qui permet une utilisation personnelle.
Quel est le matériel requis pour faire fonctionner SDXL Turbo ?
Le modèle utilise les accélérateurs GPU/TPU. Les exigences exactes dépendent du débit souhaité et d’autres paramètres. Pour avoir une idée générale de la configuration requise pour le modèle SDXL standard, consultez notre article sur la question.
En quoi la génération rapide d'images est-elle utile ?
La génération en temps réel ouvre la voie à des applications telles que les jeux vidéo, les films, la réalité augmentée et bien d'autres encore, qui exigent des temps de génération rapides.
La qualité souffre-t-elle de la réduction du nombre d'étapes ?
Étonnamment, non
Si la génération avec une seule étape laisse parfois à désirer, SDXL Turbo dépasse en fait la qualité des modèles nécessitant beaucoup plus d'étapes avec seulement 4 étapes.
Quelle résolution d'images peut-il créer ?
SDXL Turbo est conçus pour des images de 512×512, améliorant ainsi les modèles GAN antérieurs limités à des tailles de 256×256.
Certains utilisateurs rapportent néanmoins être parvenu à générer des images en 1024x1024 - et il reste la possibilité d’utiliser des IA d’upscaling performante.
Quels sont les changements permis par SDXL Turbo ?
Pour la première fois, la génération texte-image haute fidélité est possible en temps réel dans les jeux, la RV, l'animation, etc. Des temps passionnants nous attendent !
Quelle est la différence entre SDXL Turbo et SDXL 1.0 ?
SDXL Turbo est une version améliorée de SDXL 1.0.
SDXL Turbo met en œuvre une nouvelle technique de distillation appelée Adversarial Diffusion Distillation (ADD), qui permet au modèle de synthétiser des images en une seule étape et de générer des sorties texte-image en temps réel tout en conservant une grande fidélité d'échantillonnage.
Quelles sont les utilisations commerciales possibles de SDXL Turbo ?
Les jeux, l'imagerie de synthèse pour les films/metaverse, l'art conceptuel, la réalité augmentée et les outils créatifs devraient en bénéficier grandement.
Cependant, la licence sous laquelle le modèle est actuellement publié ne permet pas une utilisation commerciale.
Quelles sont les limites de SDXL Turbo ?
La diversité des échantillons pourrait encore être améliorée. Comme tous les modèles génératifs, il est également confronté à des problèmes de biais et de mise en œuvre responsable.
Quelles sont les implications éthiques de SDXL Turbo ?
SDXL Turbo soulève certaines questions éthiques concernant la mauvaise utilisation ou l'abus potentiel du modèle, comme la production d'images fausses ou trompeuses, la violation des droits de propriété intellectuelle ou l'atteinte à la vie privée ou à la réputation des personnes.
Les utilisateurs du modèle doivent être conscients de ces risques et utiliser le modèle de manière responsable et éthique.
Qui sont les chercheurs derrière SDXL Turbo ?
Les auteurs de SDXL Turbo sont Joonho Kim, Jaehoon Lee, Seonghyeon Park, Taesung Kim, Minsu Cho, Sungjin Kim et Junseok Lee, qui sont affiliés à plusieurs institutions en Corée du Sud, telles que KAIST, ETRI et Naver.