L’une des forces des modèles libres, c’est la possibilité d’entrainer ses propres modèles à partir du modèle d’origine.

Ainsi, Depuis la sortie du premier Stable Diffusion, les communauté Open Source a testé et développé des méthodes de fine-tuning et d’entrainement qui ont donné lieu à un foisonnement de modèles alternatifs - parmi lesquels de très nombreux LoRAs.

Flux étant partagé en version libre, les mêmes techniques ont rapidement été reprises, adaptées et mises au points pour le modèle de Black Labs Forest.

Deux semaine après sa sortie, Flux[dev] peut maintenant être assez facilement utilisé pour créer des LoRAs comme nous allons le voir dans cet article.

LoRA Emmanuel MACRON par Isulion

LoRA real-lora par Jicé

<aside> 🤔 C’est quoi Flux ?

Flux[dev] est une modèle d’IA pour la création d'images, rivalisant avec des outils comme Midjourney, DALL-E et Stable Diffusion. Il transforme des descriptions textuelles en visuels percutants.

→ Pour en savoir plus à son sujet, consultez notre Guide de Flux IA

</aside>

🛠️ Les outils pour entrainer un LoRA

Qu’est ce qu’un LoRA ?

LoRA (Low-Rank Adaptation) est une technique utilisée pour affiner les grands modèles de manière plus efficace. Elle permet aux utilisateurs d'adapter le modèle Flux[dev] à des concepts, des personnes ou à des styles spécifiques sans avoir à réentraîner le modèle entier à partir de zéro ni disposer d’une puissance de calcul importante.

Les fichiers LoRA sont 10 à 100 fois plus petit que le modèle à partir duquel il ont été entrainés, principalement parce qu'ils ne stockent que les ajustements minimaux nécessaires pour affiner le modèle existant, plutôt que l'ensemble de l'architecture et des poids du modèle.

C’est donc le format et la méthode idéaux pour apprendre de nouveau concept à un modèle comme Flux et pouvoir l’utiliser pour générer des images sur-mesure.

<aside> 👉 Pour en savoir plus sur cette technique de fine-tuning, consultez notre article d’introduction aux LoRAs.

</aside>

Comment entrainer un LoRA ?

1. Préparez vos images

La première étape, cruciale, est de rassembler vos images d'entraînement. Ce sont en effet ces images qui vont déterminer les possibilités, la flexibilité et la qualité de votre LoRA.

<aside> 👀 Pourquoi ces images sont si importantes ?

Imaginez que vous appreniez à peindre. Plus vous verrez d'exemples variés et de qualité, mieux vous comprendrez les techniques et les styles, non ? C'est pareil pour votre LoRA. Les images que vous allez lui montrer vont façonner sa compréhension du concept et, par conséquent, ses capacités.

Des images bien choisies permettront à votre LoRA de :

• Saisir les subtilités de votre concept
• S'adapter à différents contextes
• Produire des résultats variés et de qualité

Bref, si il y a un ingrédient secret pour obtenir un LoRA qui répond vraiment à vos attentes, c’est de choisir avec soin les images avec lesquels vous allez l’entrainer.

→ Consultez notre Guide de préparation des images d’entrainement d’un LoRA Flux

</aside>

Au minimum, vous devriez avoir une série d’images suffisamment variées pour bien représenter votre concept et qui correspondent aux critères suivants :

• 12 à 20 images