L’une des forces des modèles libres, c’est la possibilité d’entrainer ses propres modèles à partir du modèle d’origine.
Ainsi, Depuis la sortie du premier Stable Diffusion, les communauté Open Source a testé et développé des méthodes de fine-tuning et d’entrainement qui ont donné lieu à un foisonnement de modèles alternatifs - parmi lesquels de très nombreux LoRAs.
Flux étant partagé en version libre, les mêmes techniques ont rapidement été reprises, adaptées et mises au points pour le modèle de Black Labs Forest.
Deux semaine après sa sortie, Flux[dev] peut maintenant être assez facilement utilisé pour créer des LoRAs comme nous allons le voir dans cet article.
Flux[dev] est une modèle d’IA pour la création d'images, rivalisant avec des outils comme Midjourney, DALL-E et Stable Diffusion. Il transforme des descriptions textuelles en visuels percutants.
→ Pour en savoir plus à son sujet, consultez notre Guide de Flux IA
Qu’est ce qu’un LoRA ?
LoRA (Low-Rank Adaptation) est une technique utilisée pour affiner les grands modèles de manière plus efficace. Elle permet aux utilisateurs d'adapter le modèle Flux[dev] à des concepts, des personnes ou à des styles spécifiques sans avoir à réentraîner le modèle entier à partir de zéro ni disposer d’une puissance de calcul importante.
Les fichiers LoRA sont 10 à 100 fois plus petit que le modèle à partir duquel il ont été entrainés, principalement parce qu'ils ne stockent que les ajustements minimaux nécessaires pour affiner le modèle existant, plutôt que l'ensemble de l'architecture et des poids du modèle.
C’est donc le format et la méthode idéaux pour apprendre de nouveau concept à un modèle comme Flux et pouvoir l’utiliser pour générer des images sur-mesure.
👉
Pour en savoir plus sur cette technique de fine-tuning, consultez notre article sur les LoRAs Stable Diffusion (le principe est le même que pour Flux).
Comment entrainer un LoRA ?
1. Préparez vos images
La première étape, cruciale, est de rassembler vos images d'entraînement. Ce sont en effet ces images qui vont déterminer les possibilités, la flexibilité et la qualité de votre LoRA.
👀
Pourquoi ces images sont si importantes ?
Imaginez que vous appreniez à peindre. Plus vous verrez d'exemples variés et de qualité, mieux vous comprendrez les techniques et les styles, non ? C'est pareil pour votre LoRA. Les images que vous allez lui montrer vont façonner sa compréhension du concept et, par conséquent, ses capacités.
Des images bien choisies permettront à votre LoRA de :
Saisir les subtilités de votre concept
S'adapter à différents contextes
Produire des résultats variés et de qualité
Bref, si il y a un ingrédient secret pour obtenir un LoRA qui répond vraiment à vos attentes, c’est de choisir avec soin les images avec lesquels vous allez l’entrainer.
Au minimum, vous devriez avoir une série d’images suffisamment variées pour bien représenter votre concept et qui correspondent aux critères suivants :
12 à 20 images
De grandes dimensions (1024px et plus)
au format JPEG ou PNG
Pour une personne ou un personnage, assurez vous d’avoir des images qui le représentent dans différentes poses, à différents endroits, avec des habits diffèrent,…
Compressez ensuite toutes ces images en un seul fichier .zip
👍
Exemple
Pour réalise un LoRA capable de représenter l’acteur Pierre Niney, nous avons sélectionner un série d’images dans différentes poses, diffèrent formats et diffèrent style.
2. Entrainez votre LoRA
L’entrainement du LoRA se fait au moyen de différente librairies et scripts logicielles qui vont appliquer les algorithmes et effectuer les calculs matriciels nécessaires à la création du LoRA.
De base, l’entrainement de LoRA est donc une affaire compliquée. Il y a les scripts requis, les dépendances à installer (Python, Torch,…) et toute une terminologie complexe à comprendre - et une fois que vous avez maîtrisé tout cela, il y a encore les exigences matérielles : entrainer un LoRA demande une machine puissante avec GPU qui aura suffisamment de VRAM…
Heureusement, il n’est plus nécessaire de maitriser la programmation pour entrainer un LoRA. Il existe désormais des interfaces qui organisent tout cela et permettent d’entraine un LoRA sans écrire une seule ligne de code.
De plus, il existe même des interfaces en lignes qui permettent de créer des LoRA sans avoir besoin d’un GPU ni du machine survitaminée pour effectuer les calculs.
Entrainer un LoRA Flux est donc devenu extrêmement facile et accessible. Voici différentes solutions qui s’offrent à vous pour entrainer votre LoRA sans prise de tête.
Replicate.com
Replicate est une plateformes d'IA générative qui offre aux développeurs et amateurs un accès facile à des modèles d'IA qui peuvent être utilisé en ligne ou par API.
Ils sont partenaire de Black Forest Labs (créateur de Flux) et proposent plusieurs modèles d’IA et de module pour les utiliser - dont un Flux Lora Trainer que vous pouvez utiliser en suivant le guide ci-dessous :
Après une première série d’essais, c’est le service en ligne que nous recommandons pour entrainer facilement votre premier LoRA.
fal.ai
Tout comme Replicate, fal est un partenaire de Black Forest Labs qui propose un plateforme d’accès aux IA générative en ligne pour les développeurs et amateurs.
Leurs modèles et workflows IA sont accessibles par API mais aussi via un playground qui permet de les utiliser directement depuis le site web. Vous pourrez ainsi utiliser leur outil Train Flux LoRA pour créer un LoRA en suivant le guide ci-dessous :
Civitai est une plateforme novatrice dédiée à tous ceux qui s'intéressent à la création par intelligence artificielle. En plus d’une large communauté qui crée et partage autours de l’IA, Civitai se distingue par son interface conviviale et ses outils avancés, qui facilitent l'accès à des ressources créatives et technologiques.
Parmis ces outils, Civitai propose un LoRA Training facile d’emploi dont voici un guide d’utilisation complet :
Si Replicate et fal.ai permettent tout les deux d’utiliser directement un LoRA entrainé sur leur service pour générer des images, vous pouvez également télécharger le fichier du LoRA pour l’utiliser à votre convenance.
Votre LoRA peut par exemple être utilisé localement avec les interfaces de ComfyUI et Forge qui intègrent tout les deux la génération d’image avec Flux et les LoRAs.
→A venir : tutoriel détaillé sur l’utilisation de Flux et ses LoRA sur Forge
Si il est recommandé d’utiliser le modèle Flux[dev] (ou un de ses dérivés) pour utiliser un LoRA qui a été entrainé à partir de ce modèle, plusieurs utilisateurs rapportent avoir pu générer des images avec la version distillée de Flux[schnell] - Cependant, l’influence du LoRA est alors souvent plus faible.
⚠️
Licence et utilisation commerciale du LoRA Flux
La licence de Flux[dev] implique que tout modèles dérivés comme les LoRAs ou de nouveaux checkpoint fine-tunés héritent de la même licence. Il est donc essentiel de comprendre cette licence et de la prendre en compte pour l’utilisation des LoRA créés en suivant les indications ci-dessus.
Bien que vous puissiez utiliser les images générées à des fins commerciales, vous ne pouvez pas proposer votre LoRA ou ses dérivés comme un service commercial sans respecter les conditions spécifiques de la licence.
Flux et vous, co-créateurs de demain
L'émergence des LoRAs pour Flux[dev] marque une étape importante dans l'évolution de ce modèle d'IA générative d'images. Grâce à cette technique de fine-tuning, les utilisateurs peuvent désormais personnaliser Flux pour répondre à des besoins spécifiques, que ce soit pour représenter des personnes, des styles artistiques ou des concepts particuliers.
L'accessibilité croissante des outils d'entraînement de LoRAs, comme ceux proposés dans cet article démocratise cette technologie. Même sans connaissances approfondies en programmation ou sans matériel informatique haut de gamme, il est maintenant possible de créer ses propres LoRAs Flux.
Cette démocratisation ouvre la voie à une créativité accrue et à des applications plus diversifiées de Flux. Les artistes, designers, et créateurs de contenu peuvent ainsi adapter le modèle à leurs besoins spécifiques, enrichissant l'écosystème de l'IA générative d'une multitude de variations personnalisées.
On peut s'attendre à voir émerger une communauté dynamique autour de la création et du partage de LoRAs Flux, similaire à ce qui s'est produit avec Stable Diffusion. Cette évolution pourrait bien redéfinir les frontières de la créativité assistée par l'IA, offrant à chacun la possibilité de façonner l'IA selon sa vision unique.
