Après SDXL-Lightning , ByteDance réitère son engagement envers l'innovation et la vitesse avec le lancement de Hyper-SD, une nouvelle technique pour optimiser et accéléré la vitesse de génération d’images avec des modèles de Diffusion.
Le but de ByteDance semble être de se rapprocher encore plus de la génération d’images en temps réels tout en conservant la meilleure qualité d’image possible. Dans cette perspective, Hyper-SD est un nouveau pas en avant et génère des images de meilleure qualité que SDXL Turbo ou SDXL-Lightning tout en améliorant encore la vitesse de génération.
Tout comme ses prédécesseur, Hyper-SD se décline sous forme de LoRAs compatible avec les modèles Stable Diffusion et permet de les utiliser avec de 1 à 8 étapes d’inférence.
⚡
Hyper-SD en bref
Hyper-SD permet la génération hyper-rapide d’images en 1024px avec les modèles Stable Diffusion.
Hyper-SD existe en version Hyper-SD15 et Hyper-SDXL pour fonctionner avec les diffèrentes versions de Stable Diffusion.
Hyper-SD est disponible sur HuggingFace sous forme de LoRAs qui peuvent être combinés avec d’autres modèle/checkpoints.
La technique s’appuie sur la Trajectory Segmented Consistency Distillation associée à une boucle de renforcement par feedback humain pour maintenir la qualité des images.
Hyper-Sd peut être testé gratuitement sur cette démo HF.
Hyper-SD en détails
Entrainement
Hyper-SD utilise une approche double : la Trajectory Segmented Consistency Distillation en deux étapes qui maintient l'intégrité de la trajectoire ODE (équation différentielle ordinaire) originale, et l’Apprentissage avec Feedback Humainqui améliore la qualité des images.
La première étape implique une distillation de la cohérence dans deux segments temporels distincts : [0, T/2] et [T/2 , T] pour obtenir deux segments de cohérence ODE. Ensuite, cette trajectoire ODE est utilisée pour former un modèle global de cohérence à l'étape suivante de l’entrainement.
Cette approche atteint une performance sans précédent, surpassant même SDXL-Lightning en termes de rapidité et de qualité esthétique, comme le démontre les scores CLIP et Aes.
→ Consultez le document de recherche pour en savoir plus sur l’approche technique d’Hyper-SD
Performances et qualité
L’approche d’entrainement innovante de Hyper-SD technique permet d'obtenir des performances quasi-parfaites tout en réduisant le nombre d'étapes nécessaires pour la génération d'images. Les tests démontrent que Hyper-SD surpasse les modèles précédents comme SDXL-Lightning, offrant une meilleure qualité d'image en moins d'étapes, confirmée par des scores CLIP et Aes supérieurs.
Comparaison entre Hyper-SDXL et d’autres approches d’accélération similaires.
Tout comme avec SDXL-Lightning, la génération en moins de 8 étapes signifie que les images peuvent être obtenue en quasi-temps-réel et permet des applications comme le dessin en directe comme le Hyper-SD Scribble proposée en démo par ByteDance.
Comptabilité avec ControlNet
Les équipes de ByteDance ont également testé et validé l’utilisation de Hyper-Sd avec ControlNet - la technique fonctionne et permet d’utiliser les controlleurs avec une génération en quelques étapes.
Exemple d’utilisation d’Hyper-SD avec les ControlNet Scribble et Canny
Disponibilité et Licence
Les modèles d’Hyper-SD sont partagés sur Hugging Face par ByteDance. Vous y trouverez 2x4 LoRAS et un Unet :
Hyper-SDXL-Nstep-lora.safetensors: Les LoRAs pour les modèles basés sur SDXL.
Hyper-SD15-Nstep-lora.safetensors: Les LoRAs pour les modèles basés sur SD 1.5.
Hyper-SDXL-1step-unet.safetensors: Un checkpoint Unet distillé depuis le SDXL-Base.
Les LoRAS permettent donc de générer des images dans différents style et de profiter de la vaste collection de modèles Stable Diffusion déjà existants et partagés par la communauté.
Hyper-SD est partagé avec une licence Open RAIL++-M qui, sans être complètement Open Source, reste une licence ouverte. permet néanmoins le partage, l’utilisation et la modification du modèle. Elle autorise l'utilisation, la reproduction, et la distribution sans frais, mais elle inclut des clauses qui empêchent l'utilisation du modèle dans certains scénarios spécifiques pour prévenir les abus.
C’est la même licence que celle de SDXL-Lightning qui a permis la multiplication de modèles distillés et optimisé reprenant les optimisations de ByteDance. On peut donc s’attendre à voir fleurir des innovations similaire avec Hyper-SD suite à cette publication.
Comment utiliser Hyper-SD
Hyper-SD en ligne
Vous pouvez tester librement (et gratuitement) Hyper-SD en ligne sur les sites suivants :
Hyper-SDXL démo: Permet de générer plusieurs images d’un coup en texte-to-image.
Hyper-SD15 Scribble: Génération en temps réel à partir d’un croquis avec SD 1.5
Hyper-SD avec ComfyUI
Les LoRAs peuvent etre utilisé comme n’importe quel LoRA dans ComfyUI - en spécifiant les paramètres adaptés (CFG, steps,…), ils peuvent donc être utilisés pour générer des images.
ByteDance a d’ailleurs partagé deux workflows que vous pouvez télécharger et utiliser pour tester Hyper-SD.
Hyper-SD dans Fooocus
🗞️
Mise à jour du 26 mai 2024
Depuis sa version 2.4.0, Fooocus supporte nativement Hyper-SD qui peut être selectionné comme mode de performance pour accélérer la génération d’image à l’aide du LoRA adapté.
Le mode de performance est disponible dans la colonne de droite, affichée lorsque vous cochez Advanced sous le prompt.
Les LoRAs peuvent également être facilement utilisés dans Fooocus est créant un presets comme celui ci-dessous qui définit les paramètres de génération selon les recommandations de ByteDance.
→ Consultez notre guide des presets pour apprendre comment utiliser ce fichier dans Fooocus.
Hyper-SD intégré aux modèles
Comme Hyper-SD vient sous la forme de LoRA, il peut être intégrée directement à un modèles / checkpoints pour le rendre nativement hyper-rapide comme par exemple Creaprompt-Lightning Hyper-SD. Dans ce cas, il n’est donc pas nécessaire de faire appel au LoRA, il faut juste adapter les paramètres de génération (nombre de steps et CFG) pour qu’il correspondent à Hyper-SD.
![La première étape implique une distillation de la cohérence dans deux segments temporels distincts : [0, T/2] et [T/2 , T] pour obtenir deux segments de cohérence ODE. Ensuite, cette trajectoire ODE est utilisée pour former un modèle global de cohérence à l'étape suivante de l’entrainement.](https://usenotioncms.com/proxy-prod/block/0b5a80a6-abb9-4197-a8c2-7a0ad56b47dc/28dd794d-90bf-42dd-b026-a9ce6abb3c84/3dcb7b19-9252-4ec2-8bbb-0d7f9aa4e7dd/Untitled.png)
