Entrainer un LoRA Flux avec Replicate
Cet article détaille comment entrainer un LoRA pour Flux avec les outils en ligne de Replicate.com en complément de l’article principal sur l’Entrainement d’un LoRA Flux.
Replicate Flux LoRA Trainer
L'IA générative à portée de main
Replicate est une plateforme qui rend l'IA générative accessible à un large public : développeur ou amateur curieux, peuvent explorer et utiliser diverses technologies d'IA sans expertise approfondie.
Pour la génération d’image, Replicate héberge une riche collection de modèles et d’outil fournis par la communauté. Les utilisateurs peuvent facilement générer des images en explorant les modèles existants ou en déployant leurs propres modèles personnalisés
Est-ce que c’est gratuit ?
Replicate n’est normalement pas gratuit et y entrainer un LoRA coûte un peu moins de 3€. Nous avons cependant une astuce à vous proposer pour pouvoir créer votre LoRA gratuitement : En suivant ce guide, vous pourrez recevoir 10$ de crédit - suffisamment pour entraîner votre premier LoRA et générer plusieurs dizaine d’images avec.
Entrainer un LoRA sur Replicate pas à pas
0. Créer un compte Github (Prérequis)
Avant de commencer, vous aurez besoin d’un compte Github pour pouvoir accéder à la plateforme de Replicate. Si vous n’avez pas encore de compte, créez-le facilement depuis la page d’inscription Github (c’est gratuit).
1. Se connecter sur Replicate
10$ de credit : ouvrez la description de cette video youtube et cliquez sur le lien → vous serez redirigez sur une page Replicate
Cliquez sur le bouton Sign in with Github pour créer votre compte, vous connecter et recevoir 10$.
2. Ouvrir le Flux LoRA Trainer
Rendez-vous sur la page du FLUX.1 Dev LoRA Trainer sur Replicate. C’est à partir de cette page que nous allons pouvoir entrainer le LoRA.
3. Créer un modèle
Ouvrez le sélecteur Destination et cliquez sur + Create new model.
Un nouveau champs apparait dans lequel vous devez indiquer un nom pour votre LoRA (sans espace ni majuscule)
4. Télécharger les images
Vos images doivent être au format JPEG ou PNG et regroupées dans un fichier .zip
Déposez le fichier dans le champ input_images.
5. Choisir un mot déclencheur
Vous devez ensuite définir le trigger_word, c’est à dire le mot clef déclencheur du LoRA. Ce mot sera en effet associés à toutes les images de votre set d’entrainement, de sorte qu’il suffira de l’utiliser dans le prompt pour activer le LoRA.
Choisissez de préférence un mot qui n’existe pas et/ou un mot qui correspond au concept de votre LoRA.
6. Confurer l’autocaption
A moins d’avoir préparé et inclus dans votre zip un fichier .txt reprenant une description pour chaque image, vous voudrez laisser cette option activée.
L’autocaption va utiliser un modèle de language pour ajouter une description de chaque image pour aider le LoRA à comprendre de quoi il s’agit.
Vous pouvez également ajouter des préfixe et suffixe qui s’ajouteront automatiquement au début ou à la fin des descriptions automatique. Par exemple, pour un personnage avec le trigger_word “pniney”, on pourrait ajouter “A photo of pniney” en autocaption_prefix. Cela reste cependant facultatif et nous avons obtenus de bon résultats sans.
7. Configurer l’entrainement
Viennent ensuite les options d’entrainement à proprement parler. C’est à dire le nombre d’étapes d’entrainement (Steps), le Learning Rate et le batch size.
A moins d’avoir l’habitude et des connaissance en entrainement de LoRA, vous devriez laisser les deux derniers paramètres à leurs valeurs par défaut (0,0004 et 1).
Vous pouvez par contre augmenter le nombre de Steps à 2000 ou plus - cela peut donner de meilleur résultats mais pas forcement. Et ca augmente le temps d’entrainement (et docn son prix)
8. Lancer l’entrainement
Vous pouvez ensuite ignorer les autres champs du formulaire et descendre en bas pour lancer l’entrainement de votre modèlme en cliquant sur le bouton Create training.
Il ne reste plus qu’à attendre que les serveur de Replicate prennent en charge l’entrainement et le complète. Cela prend en général entre 20min et une heure.
Pendant ce temps, vous n’avez pas besoin de garder la fenetre ouverte ni même votre ordinateur allumé. Tout se passe du côté de Replicate.
Cliquez sur l’ID en debut de ligne pour obtenir la page du résultat de l’entrainement.
De là, vous pourrez télécharger votre LoRA (Download weights) ou commencer à générer des images avec sur Replicate.
La même technique expliquée en vidéo par Johan :
Utiliser le LoRA
Si vous avez télécharger le LoRA, vous pouvez l’utiliser à votre convenance avec une interface comme ComfyUI ou Forge qui permettent toutes les deux de générer des images avec Flux et un ou plusieurs LoRA.
Rappelez vous que le LoRA a été entrainé avec Flux[dev] et qu’il fonctionnera mieux avec ses modèles ou ses dérivés qu’avec Flux[schnell]. Le plus souvent, Les LoRA pour dev fonctionnent quand même avec schnell mais leurs effets sont moins prononcés.
Alternativement, vous pouvez utiliser votre LoRA directement depuis la page du résultat d’entrainement avec le bouton Run trained model.
L’écran affiche alors un formulaire permettant de paramètrer une génération.
Compléter le prompt en oubliant pas d’y reprendre votre trigger_word, choisissez votre format d’image (aspect_ratio)et cliquez sur le bouton Run pour créer votre première image avec votre LoRA.
Licence et utilisation commerciale du LoRA
Replicate a conclu un partenariat avec Black Forest Labs pour la génération d’image avec leurs modèles Flux ainsi que l’entrainement et le fine-tuning sur leur plateforme qui restent totalement libre, y compris pour une exploitation commerciale.
Cependant, comme l’entrainement de LoRA se fait avec FLUX.1 [dev], le résultat hérite de sa licence non-commerciale. Par conséquent, votre LoRA ne peut pas être utilisé commercialement et vous devez respecter les conditions de la licence d’origine du modèle.
A vous de jouer !
L’entrainement de LoRA pour Flux sur Replicate est un moyen puissant de créer des modèles de génération d'images spécialisés et adaptés à vos besoins.
Que vous soyez un développeur cherchant à repousser les limites de ses apps ou un créateur multimédia souhaitant générer des œuvres uniques, le LoRA Trainer vous ouvre un monde de possibilités.
Si cet article vous a plu, vous pourriez également être intéressés par les articles suivants :
