Êtes-vous prêts à découvrir une nouvelle technique pour enrichir votre collection de modèles tout en économisant de l'espace disque ?

Qu’est ce qu’un LoRA ?

Les LoRA, ou Low-Rank Adaptation, sont de petits modèles qui apportent de légères modifications à un modèle IA comme les modèles standard de Stable Diffusion (checkpoints) ou Flux [dev]. Ils sont généralement 10 à 100 fois plus petits, ce qui les rend très attrayants pour les personnes possédant une vaste collection de modèles.

Certains LoRA vous permettront d’ajouter un style spécifique à vos images tandis que d’autres vous donneront la possibilité de générer des images issues d’univers différents, tels que ceux de vos films, animes ou jeux vidéo favoris.

<div align="center">
	<script async src="<https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js?client=ca-pub-7985850631154058>"
     crossorigin="anonymous"></script>
	<ins class="adsbygoogle"
     style="display:block; text-align:center;"
     data-ad-layout="in-article"
     data-ad-format="fluid"
     data-ad-client="ca-pub-7985850631154058"
     data-ad-slot="8593366035"></ins>
	<script>
window.onload = function() {
    (adsbygoogle = window.adsbygoogle || []).push({});
window.addEventListener('popstate', function(event) {
  // Your code here
  (adsbygoogle = window.adsbygoogle || []).push({});
});
};
	</script>
</div>

Dans cet article, nous allons explorer le monde fascinant des LoRA en nous concentrant sur ceux créés pour Stable Diffusion.

Les explications sur leur fonctionnement restent cependant valides pour d’autres modèles de diffusion comme Flux.

<aside> 🧑‍🎓

À lire également → Comment créer un LoRA pour Flux ?

</aside>

Nous verrons également comment les utiliser pour créer vos images avec Stable Diffusion et Automatic1111.

Comment fonctionnent les LoRAs ?

Le terme LoRA (Low-Rank Adaptation) désigne au départ une technique d'apprentissage pour l'ajustement fin des modèles de diffusion. Elle se distingue des autres techniques comme Dreambooth ou l'inversion textuelle (aussi appelée embedding) par un excellent compromis entre taille du fichier et puissance d'apprentissage.

Les LoRAs ciblent les couches d'attention croisée (cross-attention layers), les parties les plus cruciales des modèles de diffusion. C'est là que se fait le lien entre une description textuelle et l'image générée. Plutôt que de modifier l'ensemble du modèle, les LoRAs se concentrent donc sur les modifications à apporter à ces points stratégiques.

Techniquement, les LoRAs décomposent les matrices de poids de ces couches en deux matrices de rang inférieur, ce qui permet de stocker beaucoup moins de données. Ces modifications ne remplacent pas le modèle d'origine mais sont enregistrées dans un fichier à part, qui ne contient que les informations propres à l'entraînement.

Résultat : des fichiers beaucoup plus légers tout en conservant une efficacité remarquable.

Au-delà de la technique originale, d'autres variantes ont émergé pour optimiser encore la création et le stockage. Vous croiserez parfois les termes LyCORIS, LoHA ou LoKR. Ces fichiers s'utilisant exactement comme des LoRAs classiques, vous n'avez pas besoin de vous soucier des différences techniques.

<aside> ⚠️

Point important : un LoRA créé pour Stable Diffusion XL ne fonctionnera pas avec Flux.2 ou Z-Image. Chaque modèle a sa propre architecture, et les LoRAs doivent être entraînés spécifiquement pour le modèle que vous utilisez. Quand vous cherchez un LoRA, vérifiez donc toujours pour quel modèle il a été créé.

</aside>

Où trouver des modèles LoRA ?

Si vous êtes déjà impatients de mettre la main sur des LoRA, Civitai et Hugging Face sont deux sources incontournables.

Civitai propose une large collection de modèles, de LoRAs et d’autres fichiers de fine tuning pour Stable Diffusion. N'oubliez pas d'y appliquer le filtre LoRA lors de vos recherche pour ne pas avoir d’autres type de fichier dans vos résultats.