Êtes-vous prêts à découvrir une nouvelle technique pour enrichir votre collection de modèles tout en économisant de l'espace disque ?

Qu’est ce qu’un LoRA ?

Les LoRA, ou Low-Rank Adaptation, sont de petits modèles qui apportent de légères modifications à un modèle IA comme les modèles standard de Stable Diffusion (checkpoints) ou Flux [dev]. Ils sont généralement 10 à 100 fois plus petits, ce qui les rend très attrayants pour les personnes possédant une vaste collection de modèles.

Certains LoRA vous permettront d’ajouter un style spécifique à vos images tandis que d’autres vous donneront la possibilité de générer des images issues d’univers différents, tels que ceux de vos films, animes ou jeux vidéo favoris.

<div align="center">
	<script async src="<https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js?client=ca-pub-7985850631154058>"
     crossorigin="anonymous"></script>
	<ins class="adsbygoogle"
     style="display:block; text-align:center;"
     data-ad-layout="in-article"
     data-ad-format="fluid"
     data-ad-client="ca-pub-7985850631154058"
     data-ad-slot="8593366035"></ins>
	<script>
window.onload = function() {
    (adsbygoogle = window.adsbygoogle || []).push({});
window.addEventListener('popstate', function(event) {
  // Your code here
  (adsbygoogle = window.adsbygoogle || []).push({});
});
};
	</script>
</div>

Dans cet article, nous allons explorer le monde fascinant des LoRA en nous concentrant sur ceux créés pour Stable Diffusion.

Les explications sur leur fonctionnement restent cependant valides pour d’autres modèles de diffusion comme Flux.

<aside> 🧑‍🎓

À lire également → Comment créer un LoRA pour Flux ?

</aside>

Nous verrons également comment les utiliser pour créer vos images avec Stable Diffusion et Automatic1111.

Comment fonctionnent les LoRAs ?

Le terme LoRA (Low-Rank Adaptation) désigne au départ une technique d'apprentissage pour l'ajustement fin des modèles de diffusion.

Elle se distinguent des autres techniques d'apprentissage, telles que Dreambooth et l'inversion textuelle (textuel inversion en anglais, aussi **appelée embedding), par un excellent compromis entre la taille du fichier obtenu et la puissance d'apprentissage.

Les fichier LoRAs parviennent en effet à réduire la taille du fichier sans perdre beaucoup de puissance d'apprentissage en s'attaquant aux couches d'attention croisée (cross-attention layers), qui sont les parties les plus cruciales des modèles de diffusion.

Les LoRAs décomposent les matrices de poids de ces couches en deux matrices de bas rang, ce qui permet de stocker beaucoup moins de nombres. Ces matrices ne viennent pas remplacer le fichier du modèle d’origine mais sont enregistré dans un fichier à part, le LoRA, qui ne contient alors que les informations propre à l’entrainement.

Grâce à cette astuce, les fichiers LoRA sont beaucoup plus petits, tout en conservant une puissance d'apprentissage efficace.

En plus de la technique de Low-Rank Adaptation elle-même, d’autres techniques similaires ont également été mises au point pour optimiser la création et le stockage des données d’entrainement. Parfois également désignés sous le nom de LyCORIs, les fichiers obtenu avec ces techniques sont le plus souvent assimilé aux LoRAs et s’utilisent de manière similaire.

Où trouver des modèles LoRA ?

Si vous êtes déjà impatients de mettre la main sur des LoRA, Civitai et Hugging Face sont deux sources incontournables.

Civitai propose une large collection de modèles, de LoRAs et d’autres fichiers de fine tuning pour Stable Diffusion. N'oubliez pas d'y appliquer le filtre LoRA lors de vos recherche pour ne pas avoir d’autres type de fichier dans vos résultats.