10/07/2023 : Suite à une fuite du modèle partagée pour la recherche, Stability AI a décidé de partager officiellement SDXL 0.9.
Les fichiers du modèles sont donc désormais disponible sur Hugging Face
Pour utiliser ces fichiers avec une version adaptée d’automatic1111, suivez les instruction de cette vidéo (en anglais) :
Il est toujours passionnant de voir l'émergence de nouvelles technologies qui repoussent les limites de ce qui est possible. L'une de ces avancées récentes est le lancement de Stable Diffusion XL, une nouvelle mise à jour majeure du modèle de génération d'images par IA de Stability AI.
Stable Diffusion XL 0.9 se distingue par sa capacité à générer des images de haute qualité à partir de descriptions textuelles, une fonctionnalité qui pourrait avoir des implications significatives dans des domaines allant de la conception graphique à la réalité virtuelle. Cependant, comme toute technologie, elle n'est pas sans ses défis et ses limites.
Il est également disponible via l’interface web de DreamStudio
Il peut être utilisée et intégrer à d‘autres application via l’API Stability AI
Son code est également diposnible sur Github pour la recherche ainsi que sur HuggingFace.
Avant Stable Diffusion XL 0.9
Lancé à l’été 2022, stable Diffusion a été développé par des chercheurs du groupe CompVis de l'Université Ludwig Maximilian de Munich et de Runway et financé par Stability AI.
Stable Diffusion est un modèle de diffusion latente, un type de réseau neuronal génératif profond. Son code et ses poids de modèle ont été rendus publics, et il peut fonctionner sur la plupart des matériels grand public équipés d'un GPU modeste avec au moins 8 Go de VRAM. C’est une diffèrence majeure avec mes modèles texte-à-image propriétaires précédents comme DALL-E et Midjourney qui ne sont accessibles que via des services cloud.
En octobre 2022, Stability AI a levé 101 millions de dollars US lors d'un tour de table mené par Lightspeed Venture Partners et Coatue Management.
Après une version 2 qui a reçu un accueil mitigé eb début d’année, un nouveau modèle, Stable Diffusion XL a été annoncé et lancé en version Beta en Avril 2023. SDXL 0.9 est la nouvelle version qui fait suite à ces tests. Elle précède de quelques semaines la sortie officielle du Modèle de Stabvle Diffusion XL, la 1.0.
SDXL 0.9 en détails
Stable Diffusion XL 0.9, ou SDXL 0.9 pour faire court, est la dernière mise à jour de la suite de modèles de génération d'images de Stability AI. Cette mise à jour marque une avancée significative par rapport à la version bêta précédente, offrant une qualité d'image et une composition nettement améliorées.
Améliorations de la qualité d'image
SDXL 0.9 produit des images avec un niveau de détail et de composition nettement amélioré par rapport à son prédécesseur. Cela est dû à une augmentation significative du nombre de paramètres du modèle. SDXL 0.9 possède l'un des plus grands nombres de paramètres de tous les modèles d'image open source, avec un modèle de base de 3,5 milliards de paramètres et un pipeline d'ensemble de modèles de 6,6 milliards de paramètres.
Améliorations de la composition
SDXL 0.9 utilise deux modèles CLIP, dont l'un des plus grands modèles OpenCLIP entraînés à ce jour (OpenCLIP ViT-G/14). Cela renforce sa capacité à créer des images réalistes avec plus de profondeur et une résolution plus élevée de 1024x1024.
Applications créatives
SDXL 0.9 offre une multitude d'applications créatives pour l'imagerie générative par IA. Que vous soyez dans le cinéma, la télévision, la musique, les vidéos pédagogiques, le design ou l'industrie, SDXL 0.9 a quelque chose à offrir. Il offre également une gamme de fonctionnalités qui vont au-delà du simple texte, y compris le prompt image-to-image (entrer une image pour obtenir des variations de cette image), l'inpainting et l'outpainting.
En somme, SDXL 0.9 est une avancée majeure dans le domaine de la génération d'images par IA, offrant une qualité d'image et une composition inégalées, ainsi qu'une multitude d'applications créatives.
Les chiffres derrière SDXL 0.9
Si vous êtes un fan de chiffres, SDXL 0.9 va certainement vous impressionner.
L'une des principales améliorations de cette version par rapport à la version bêta est l'augmentation significative du nombre de paramètres. Pour ceux qui ne sont pas familiers avec le jargon de l'IA, les paramètres sont essentiellement la somme de tous les poids et biais du réseau neuronal sur lequel le modèle est entraîné. Plus il y a de paramètres, plus le modèle a la capacité d'apprendre et de comprendre les données.
SDXL 0.9 possède l'un des plus grands nombres de paramètres de tous les modèles d'image open source. Il dispose d'un modèle de base de 3,5 milliards de paramètres et d'un pipeline d'ensemble de modèles de 6,6 milliards de paramètres. Pour mettre cela en perspective, la version bêta fonctionnait sur 3,1 milliards de paramètres et utilisait un seul modèle. C'est une augmentation massive qui se traduit par une amélioration significative de la qualité des images générées.
Mais ce n'est pas tout. SDXL 0.9 fonctionne sur deux modèles CLIP, dont l'un des plus grands modèles OpenCLIP entraînés à ce jour (OpenCLIP ViT-G/14). Ces modèles renforcent la puissance de traitement de SDXL 0.9 et sa capacité à créer des images réalistes avec plus de profondeur et une résolution plus élevée de 1024x1024.
Ces chiffres peuvent sembler intimidants, mais ils sont la preuve de l'engagement de Stability AI à repousser les limites de ce qui est possible en matière de génération d'images par IA. Avec SDXL 0.9, nous ne faisons pas qu'observer l'avenir de l'IA, nous le vivons.
Les possibilités créatives avec SDXL 0.9
Si vous pensiez que la génération d'images par IA était limitée à de simples illustrations ou à des images génériques, SDXL 0.9 est là pour vous prouver le contraire. Cette nouvelle version ouvre un monde de possibilités créatives qui étaient auparavant inimaginables.
Imaginez pouvoir générer des images hyper-réalistes pour des films, des émissions de télévision, des clips musicaux et des vidéos pédagogiques. Avec SDXL 0.9, ce n'est plus de la science-fiction, c'est une réalité. Les réalisateurs et les producteurs peuvent désormais utiliser l'IA pour créer des scènes visuellement époustouflantes sans avoir besoin d'un budget de blockbuster.
Mais ce n'est pas tout. SDXL 0.9 offre également des avancées significatives pour le design et l'industrie. Les designers peuvent utiliser l'IA pour générer des images de haute qualité pour leurs projets, tandis que les industries peuvent utiliser SDXL 0.9 pour visualiser des produits ou des concepts avant même qu'ils ne soient fabriqués.
En plus de cela, SDXL 0.9 offre une gamme de fonctionnalités qui vont au-delà du simple texte. Il s'agit notamment du prompt image-to-image (entrer une image pour obtenir des variations de cette image), de l'inpainting (reconstruction des parties manquantes d'une image) et de l'outpainting (construction d'une extension sans couture d'une image existante).
En d'autres termes, SDXL 0.9 n'est pas seulement un outil pour générer des images, c'est un véritable studio de création dans le cloud. Que vous soyez un artiste cherchant à repousser les limites de votre créativité ou une entreprise cherchant à visualiser le futur, SDXL 0.9 a quelque chose à vous offrir.
Accessibilité de SDXL 0.9
L'un des aspects les plus impressionnants de SDXL 0.9 est qu'il ne nécessite pas une super machine pour fonctionner. Malgré sa sortie puissante et son architecture de modèle avancée, SDXL 0.9 peut être exécuté sur un GPU moderne grand public. Oui, vous avez bien entendu, pas besoin d'un supercalculateur ou d'une station de travail haut de gamme pour générer des images incroyablement réalistes.
Cela signifie que SDXL 0.9 est accessible à un large public d'utilisateurs et de créateurs qui souhaitent explorer les possibilités offertes par les images générées par IA. Que vous soyez un artiste numérique cherchant à repousser les limites de votre créativité, un concepteur de jeux vidéo cherchant à créer des environnements plus réalistes, ou simplement un passionné d'IA curieux de voir ce que la technologie peut faire, SDXL 0.9 est à votre portée.
C'est une véritable démocratisation de la technologie de l'IA, permettant à chacun de nous de participer à la révolution de la génération d'images par IA. Alors, qu'attendez-vous ? Il est temps de plonger dans le monde fascinant de SDXL 0.9 et de voir par vous-même ce que cette technologie incroyable peut faire.
Avec le lancement de SDXL 0.9, Stability AI a une fois de plus démontré son engagement à repousser les limites de la génération d'images par IA. Cette nouvelle version offre une qualité d'image et une composition sans précédent, ouvrant la voie à des applications créatives infinies dans des domaines aussi variés que le cinéma, la télévision, la musique, le design et l'industrie.
Mais au-delà des améliorations techniques et des nouvelles fonctionnalités, ce qui rend SDXL 0.9 vraiment impressionnant, c'est sa capacité à rendre la puissance de l'IA accessible à tous. Malgré sa sortie puissante et son architecture de modèle avancée, SDXL 0.9 peut être exécuté sur un GPU moderne grand public, ce qui signifie que tout le monde, des artistes aux ingénieurs, peut explorer les possibilités offertes par les images générées par IA.
Alors que nous nous tenons à l'aube d'une nouvelle ère de l'IA, il est clair que SDXL 0.9 n'est pas seulement une mise à jour de produit, mais un jalon important sur la voie de l'avenir de la génération d'images par IA. Nous avons hâte de voir ce que l'avenir nous réserve, et avec SDXL 0.9, cet avenir semble plus brillant que jamais.
