Hyper-SD

Do not index

Publish

Après SDXL-Lightning , ByteDance réitère son engagement envers l'innovation et la vitesse avec le lancement de Hyper-SD, une nouvelle technique pour optimiser et accéléré la vitesse de génération d’images avec des modèles de Diffusion.

Le but de ByteDance semble être de se rapprocher encore plus de la génération d’images en temps réels tout en conservant la meilleure qualité d’image possible. Dans cette perspective, Hyper-SD est un nouveau pas en avant et génère des images de meilleure qualité que SDXL Turbo ou SDXL-Lightning tout en améliorant encore la vitesse de génération.

Tout comme ses prédécesseur, Hyper-SD se décline sous forme de LoRAs compatible avec les modèles Stable Diffusion et permet de les utiliser avec de 1 à 8 étapes d’inférence.

⚡

Hyper-SD en bref

Hyper-SD permet la génération hyper-rapide d’images en 1024px avec les modèles Stable Diffusion.

Hyper-SD existe en version Hyper-SD15 et Hyper-SDXL pour fonctionner avec les diffèrentes versions de Stable Diffusion.

Hyper-SD est disponible sur HuggingFace sous forme de LoRAs qui peuvent être combinés avec d’autres modèle/checkpoints.

La technique s’appuie sur la Trajectory Segmented Consistency Distillation associée à une boucle de renforcement par feedback humain pour maintenir la qualité des images.

Hyper-Sd peut être testé gratuitement sur cette démo HF.

Hyper-SD en détails

Entrainement

Hyper-SD utilise une approche double : la Trajectory Segmented Consistency Distillation en deux étapes qui maintient l'intégrité de la trajectoire ODE (équation différentielle ordinaire) originale, et l’Apprentissage avec Feedback Humain qui améliore la qualité des images.

La première étape implique une distillation de la cohérence dans deux segments temporels distincts : [0, T/2] et [T/2 , T] pour obtenir deux segments de cohérence ODE. Ensuite, cette trajectoire ODE est utilisée pour former un modèle global de cohérence à l'étape suivante de l’entrainement.

Cette approche atteint une performance sans précédent, surpassant même SDXL-Lightning en termes de rapidité et de qualité esthétique, comme le démontre les scores CLIP et Aes.

→ Consultez le document de recherche pour en savoir plus sur l’approche technique d’Hyper-SD

Performances et qualité

L’approche d’entrainement innovante de Hyper-SD technique permet d'obtenir des performances quasi-parfaites tout en réduisant le nombre d'étapes nécessaires pour la génération d'images. Les tests démontrent que Hyper-SD surpasse les modèles précédents comme SDXL-Lightning, offrant une meilleure qualité d'image en moins d'étapes, confirmée par des scores CLIP et Aes supérieurs.

Comparaison entre Hyper-SDXL et d’autres approches d’accélération similaires.

Tout comme avec SDXL-Lightning, la génération en moins de 8 étapes signifie que les images peuvent être obtenue en quasi-temps-réel et permet des applications comme le dessin en directe comme le Hyper-SD Scribble proposée en démo par ByteDance.

Comptabilité avec ControlNet

Les équipes de ByteDance ont également testé et validé l’utilisation de Hyper-Sd avec ControlNet - la technique fonctionne et permet d’utiliser les controlleurs avec une génération en quelques étapes.

Exemple d’utilisation d’Hyper-SD avec les ControlNet Scribble et Canny

Disponibilité et Licence

Les modèles d’Hyper-SD sont partagés sur Hugging Face par ByteDance. Vous y trouverez 2x4 LoRAS et un Unet :

Hyper-SDXL-Nstep-lora.safetensors: Les LoRAs pour les modèles basés sur SDXL.

Hyper-SD15-Nstep-lora.safetensors: Les LoRAs pour les modèles basés sur SD 1.5.

Hyper-SDXL-1step-unet.safetensors: Un checkpoint Unet distillé depuis le SDXL-Base.

Les LoRAS permettent donc de générer des images dans différents style et de profiter de la vaste collection de modèles Stable Diffusion déjà existants et partagés par la communauté.

Hyper-SD est partagé avec une licence Open RAIL++-M qui, sans être complètement Open Source, reste une licence ouverte. permet néanmoins le partage, l’utilisation et la modification du modèle. Elle autorise l'utilisation, la reproduction, et la distribution sans frais, mais elle inclut des clauses qui empêchent l'utilisation du modèle dans certains scénarios spécifiques pour prévenir les abus.

C’est la même licence que celle de SDXL-Lightning qui a permis la multiplication de modèles distillés et optimisé reprenant les optimisations de ByteDance. On peut donc s’attendre à voir fleurir des innovations similaire avec Hyper-SD suite à cette publication.

Comment utiliser Hyper-SD

🧪

Hyper-SD est encore jeune et la communauté commence seulement à faire ses tests pour découvrir quelles sont les meilleurs paramètres pour obtenir les meilleurs images possibles.

En effet, avec si peu d'étapes, le choix des sampler et scheduler et le paramétrage précis (CFG, poids du LoRA,...) peut complètement changer le résultat. De même que le choix du modèle de départ.

Vous devrez probablement faire vos propres expériences pour trouver le réglage qui vous conviendra le mieux.

Hyper-SD en ligne

Vous pouvez tester librement (et gratuitement) Hyper-SD en ligne sur les sites suivants :

Hyper-SDXL démo : Permet de générer plusieurs images d’un coup en texte-to-image.

Hyper-SD15 Scribble : Génération en temps réel à partir d’un croquis avec SD 1.5

Hyper-SD avec ComfyUI

Les LoRAs peuvent etre utilisé comme n’importe quel LoRA dans ComfyUI - en spécifiant les paramètres adaptés (CFG, steps,…), ils peuvent donc être utilisés pour générer des images.

ByteDance a d’ailleur partagés deux workflows que vous pouvez télécharger et utiliser pour tester Hyper-SD.

https://huggingface.co/ByteDance/Hyper-SD/tree/main/comfyui

Hyper-SD dans Fooocus

Les LoRAs peuvent être facilement utilisés dans Fooocus est créant un presets comme celui ci-dessous qui définit les paramètres de génération selon les recommandations de ByteDance.

hypersd.json

1.3KB

→ Consultez notre guide des presets pour apprendre comment utiliser ce fichier dans Fooocus.

Hyper-SD intégré aux modèles

Comme Hyper-SD vient sous la forme de LoRA, il peut être intégrée directement à un modèles / checkpoints pour le rendre nativement hyper-rapide comme par exemple Creaprompt-Lightning Hyper-SD. Dans ce cas, il n’est donc pas nécessaire de faire appel au LoRA, il faut juste adapter les paramètres de génération (nombre de steps et CFG) pour qu’il correspondent à Hyper-SD.

Hyper-SD