AuraFlow, nouvelle alternative open source

Fal.AI partage un nouveau modèle 100% Open Source

AuraFlow,  nouvelle alternative open source
Do not index
Do not index
Publish
Publish
Après l'accueil mitigé du dernier modèle texte-image de Stability AI, Stable Diffusion 3, la communauté de l’IA générative s’intéresse de plus en plus à d’autres modèles de fondation et à la possibilité de créer un modèle qui respect d’avantage les idéaux open source du projet d’origine.
C’est dans ce contexte que sort AuraFlow 0.1, un nouveau modèle plus que prometteur…

AuraFlow v0.1

notion image

Qu’est-ce qu’AuraFlow ?

AuraFlow est un nouveau modèle de génération d'images à partir de texte, développé par Simo (à qui on doit déjà l’intégration du concept de LoRA dans Stable Diffusion) et l’équipe de Fal.ai.
Il s'agit d'un modèle de génération d’image qui se veut être la plus grande alternative open source à Stable Diffusion 3.
Selon ses développeurs, il a été conçu pour offrir des performances de pointe tout en restant entièrement open source. Il s’agirait aujourd’hui du plus grand modèle de ce type à être complètement ouvert.

Caractéristiques techniques

D'après les informations partagées dans l’annonce d’AuraFlow v0.1, voici quelques-unes des principales caractéristiques techniques du modèle :
  • Utilisation de blocs DiT (Diffusion Transformer) plutôt que les blocs MMDiT plus complexes, pour une meilleure efficacité de calcul.
  • Optimisations avec l'utilisation de torch.compile pour accélérer l'entraînement.
  • Utilisation de la technique de zero-shot learning rate transfer pour trouver de bons hyperparamètres sans avoir à tout balayer.
  • Recaptage complet des images du jeu de données pour améliorer la qualité des instructions.
  • Architecture plus large et plus courte, suivant les recommandations des travaux sur les lois d'échelle.
Au final, le modèle entraîné compte 6,8 milliards de paramètres et atteint des scores de 0,703 sur la métrique GenEval, avec l'aide d'un pipeline d'amélioration des prompts.
https://www.reddit.com/media?url=https%3A%2F%2Fpreview.redd.it%2Ffal-drops-auraflow-v0-seu4eyc8j2cd1.png%3Fwidth%3D1024%26format%3Dpng%26auto%3Dwebp%26s%3Da53ef7c4dad39729ddffa9a6d9defe7ae91dadec
https://www.reddit.com/media?url=https%3A%2F%2Fpreview.redd.it%2Ffal-drops-auraflow-v0-z85j8ceif2cd1.png%3Fwidth%3D1024%26format%3Dpng%26auto%3Dwebp%26s%3Dce146802c4ba971df20a9bbfd31ebbf788d5fccb
https://www.reddit.com/media?url=https%3A%2F%2Fpreview.redd.it%2Ffal-drops-auraflow-v0-8732jn5cx6cd1.png%3Fwidth%3D1024%26format%3Dpng%26auto%3Dwebp%26s%3De42fd621ed88a71181e20ad92c16e5194c369519

Comment utiliser AuraFlow v0.1 ?

AuraFlow en ligne

Si vous voulez essayer quelques générations en vitesse, essayez la demo en ligne sur le site de Fal.AI - Vous pourrez générer des images gratuitement et voir en quelques minutes ce que ce nouveau modèle à dans le ventre ?
notion image

AuraFlow dans ComfyUI

Si vous voulez aller plus loin, sachez que le modèle est déjà compatible avec la dernière version de ComfyUI. Mettez à jour votre installation de ComfyUI et téléchargez le modèle sur HuggingFace pour l’intégrer à vos workflows.

Accueil de la communauté

La sortie d'AuraFlow est plutôt bien accueillie par la communauté des utilisateurs de Stable Diffusion. De nombreux commentaires enthousiastes ont été publiés sur Reddit et saluent l'arrivée d'un modèle open source de si grande taille.
Sur le serveur discord FR Diffusion, plusieurs utilisateurs ont également partagé leur premières impressions positives.
De même, sur Hacker News, les premiers retours sont positifs, même s'il certains remarquent que le modèle présente encore quelques défauts au niveau des mains et de plusieurs parties du corps humain (un problème récurent avec les modèle de ce type).
notion image
https://civitai.com/images/19554840
notion image
En résumé, AuraFlow se présente comme une alternative open source de choix à Stable Diffusion 3, avec des performances prometteuses. Son arrivée est très bien accueillie par la communauté, qui semble ravie de disposer d'un tel modèle en open source. Les développeurs prévoient de continuer à l'améliorer dans les prochains mois.
🚧
Nouvelles Versions
Deux nouvelles versions d’AuraFlow sont déjà sorties depuis la publication du premier AuraFlow 0.1 :
  • AuraFlow 0.2 : Se distingue surtout par un respect des prompts exceptionnel.
  • AuraFlow 0.3 : Améliore un peu l’esthétique des images - au prix d’une grosse perte dans le respect des prompts.

Pour aller plus loin :

Payer une seule fois pour un accès à vie à la génération d’image avec Stable Diffusion et Diffus

🔥 Lifetime Deal à -60% 🔥

Profiter de l'offre

Ecrit par