Depuis leur apparition il y a quelques mois, les LoRAs, ces mini-modèles d’ajustement pour Stable Diffusion ont énormément gagné en popularité et représentent désormais l’une des force de Stable Diffusion quand on le compare à d’autres IA de génération d’images.
Grâce au grand nombre de LoRAs créés et partagés par la communauté, il est devenu en effet très simple de générer des images reprenant des personnages, des styles spécifiques ou d’autres concepts qui ne faisaient pas partier des données d’entrainement d’origine.
L’interface de Fooocus, derrière ses airs minimalistes et son utilisation simplifiée, cache en réalité de nombreuses fonctionnalités utiles et bien pensées - dont l’utilisation des LoRAs.
Voyons ensemble comment ajouter et utiliser un LoRA sur Fooocus.
Fooocus ?
Fooocus est une nouvelle interface pour Stable Diffusion qui offre une expérience simple et permet de créer des images magnifiques avec un minimum de connaissances et sans devoir s’occuper de multiples réglages et paramètres.
Nous détaillons son installation et son utilisation dans notre article de présentation de Fooocus
Ajouter un LoRA sur Fooocus
Où trouver des LoRAs ?
La meilleure ressources pour trouver des LoRAs est Civitai - le site de partage communautaire sur lequel de nombreux créateurs partagent leurs modèles, LoRA et prompts.
Cliquez sur Models (en haut à gauche) pour chercher parmi les modèle disponibles sur le site, puis sur Filter pour y cocher LoRA de manière à limiter la recherche aux LoRAs. Comme Fooocus fonctionne exclusivement avec SDXL et des modèles dérivés de celui-ci, vous pouvez également cocher la case SDXL de manière à n’avoir que des LoRAs compatibles.
Lorsque vous avez trouvé un LoRA qui vous intéresse, téléchargez-le (à l’aide du bouton Download en en à droite des images sur la page du LoRA).
Placer le fichier dans le repertoire Fooocus
Pour ajouter un LoRA à Fooocus, il suffit de le de placer le fichier téléchargé dans le répertoire
/models/loras de votre installation.Sur Windows, Max ou Linux, ce répertoire se trouve sur votre disque dur, là ou vous avez installé Fooocus. Déplacez-y le fichier du LoRA (a priori, un fichier
.safetensor)
Si vous utilisez la version hébergée sur Google Colab, vous pouvez également ajouter vos LoRA en suivant la procédure ci-dessous (cliquez sur le titre pour afficher les étapes).
Comment ajouter des LoRAs dans Fooocus sur Google Colab ?
- Executer le Colab - Fooocus va s’installer.
- Cliquez sur l’icone de dossier dans le menu sur la gauche de l’écran.
- Ouvrez le répertoire
Fooocusen cliquant dessus.
- Ouvrez le répertoire
modelsen cliquant dessus.
- Ouvrez le répertoire
lorasen cliquant dessus.
- Au survol sur le répertoire
loras, une icône ⋮ (trois points verticaux) apparait. Cliquez dessus.
- Dans le menu qui apparait, choisissez “Importer”
- Sélectionnez le fichier de votre LoRA et confirmez.
- Patientez le temps que le fichier soit complètement uploadé et disparaisse du bas de la colonne.
- Une fois le fichier importé, vous pouvez ouvrir Fooocus et utiliser le LoRA comme expliqué ci-dessous.
Utiliser un LoRA dans Fooocus
Activation du LoRA
Pour activer un ou plusieurs LoRA dans Fooocus, vous devez ouvrir l’interface Advanced en cochant la case du même nom dans le bas de l’écran, sous le champs de Prompt.
Dans le menu qui s’ouvre à droite, choisissez l’onglet Model.
Dans la partie LoRAs vous pouvez sélectionner jusqu’à 5 LoRAs qui seront utilisés pour la génération d’image.
Si vous ne voyez pas le LoRA que vous venez d’ajouter dans les selecteurs, cliquez sur le bouton 🔁 Refresh All Files en bas de la colonne pour recharger la liste des fichiers disponibles.
Tous les LoRAs sélectionnés seront utilisés pour la génération de l’image. Contrairement à l’utilisation des LoRAs dans Automatic1111, il n’est pas nécessaire d’utiliser une syntaxe particulière dans votre prompt pour utiliser un LoRA.
Par contre, si le LoRA a un ou des mots clefs d’utilisation spécifiques, ceux-si devront être ajouté au prompt pour que le LoRA soit activé correctement.
Force du LoRA
Pour chacun des 5 LoRAs sélectionnables, vous pouvez définir un poids (Weight) qui détermine sa force d’influence sur votre image.
Le poids recommandés varie en général entre 0,5 et 1 - Mais chaque LoRa est diffèrent et chacun pourra avoir une force recommandée différente.
Un poids trop faible rendra l’influence du LoRA imperceptible - Alors qu’un poids trop élevé enlèvera toute flexibilité au modèle et nuira à la qualité générale de l’image.
Vous pouvez consulter la fiche du LoRA ou des prompts d’exemple pour avoir une idée du poids à utiliser (Dans un prompt Automatic1111 comme ceux partagés sur Civitai, le poids est indiqué après le nom du lora comme ceci :
<lora:MonLora:0.85>) - Mais vous devrez probablement faire quelques essais pour trouver la force qui vous convient.Exemples d’utilisation de LoRAs dans Fooocus
Nous allons maintenant essayer ensemble 3 LoRAs diffèrent et voir comment ils peuvent être utilisés pour générer des images avec Fooocus :
- Tim Burton (Art Style) est un LoRA entrainé sur un style d’image. En l’occurence des dessins de réalisateur Tim Burton qui a un style particulier et reconnaissable.
- Rorschach - Watchmen est un LoRA entrainé pour générer des images d’un personnage spécifique, Rorschach - un anti-héros de la série The Watchmen. A priori, il a été entrainé à partir d’image du film de 2009 et pas des comics.
- SDXL Enhancer est un LoRA particulier qui vise à améliorer les images générées avec SDXL en ajoutant des détails et de la richesse aux images.
Pour chacun de ces 3 LoRAS, nous allons générés 6 images à partir d’un même prompt. La première sans utiliser le LoRA et les autres en activant le LoRA et en utilisant un poids diffèrent. Nous pourrons ainsi comparer l’effet du LoRA avec différentes forces.
Pour ces exemples, aucun autre réglage spécifique n’a été fait dans Fooocus - nous utilisons donc la configuration par défaut (qui donne en général de bons résultats).
Tim Burton
Prompt :
A pixie fairy in a Tim Burton-inspired wonderland. Around her, the landscape transforms into a surreal dreamscape, trees with twisted branches, each bearing glowing fruits. The pixies's eyes reflects the glow, holding a mixture of determination and curiosity, Tim Burton Style
(Notez l’inclusion du mot clefs Tim Burton Style qui activera le LoRA)
Rorschach - Watchmen
Prompt :
Cinematic photo, Rorschach from the Watchmen, man with a hat, vintage icecream store, hold an icrecream, 35mm photograph, film, bokeh, professional, 4k, highly detailed, Rorschach1024
(Notez l’inclusion du mot clefs Rorschach1024 qui activera le LoRA)
SDXL Enhancer
Prompt :
Full-bodied portrait, cute and adorable cartoon white rabbit baby wearing a gold jaguar print hoodie and silver sunglasses, fantasy, dreamlike, surrealism, super cute
(Notez qu’ici il n’y a pas de mot clef d’activation. Le LoRA est automatiquement appliqué)
Comme ce LoRA ajoute des détails, nous allons également utiliser un Seed unique pour les 4 images, de manière à avoir des variations de plus en plus enhanced d’une même image
Comme vous le voyez, utiliser des LoRAs avec Fooocus s’avère à la fois simple et puissant. Ces mini-modèles vous permettent de facilement modifier les images générées pour utiliser un style particulier, intégrer des personnages ou appliquer des effets visuels intéressants.
Chaque LoRA est différents et vous devrez cependant faire quelques experiences pour apprécier le potentiel réel d’un LoRA selon vos projets et envies. Le poids utilisé aura également une grande influence et peut complètement changer le résultat (Voir complètement ruiner l’image comme nous l’avons vu avec le LoRA Rorschach).
J’espères que cet article vous aura donné envie d’essayer les LoRA avec Fooocus pour créer de nouvelles images. Si c’est bien le cas, n’hésitez pas à nous rejoindre sur 𝕏 et à nous partager vos créations !
