Le format GGUF est une nouvelle solution de formatage binaire pour les modèles d'intelligence artificielle, spécialement conçu pour accélérer le chargement, offrir de la flexibilité et regrouper toutes les informations d’un modèle dans un fichier unique. Ce format, introduit en août 2023, est une évolution des formats GGML et GGJT. Il est particulièrement adapté aux modèles utilisant llama.cpp, dont le modèle de génération d’image Flux.
Le format GGUF a été créé pour répondre aux besoins croissants de simplification et d'efficacité dans l'usage des modèles d'IA. L’idée est de rendre le processus de chargement des modèles plus rapide et de faciliter leur utilisation sur différentes plateformes, notamment celles qui disposent de ressources limitées. Le tout en évitant les complications liées à l'utilisation de multiples fichiers.
La communauté open source constitué autours de Flux a pu adopter GGUF pour les modèles Flux [dev] et [schnell] afin d’offrir un chargement et une inférence efficaces, en particulier sur des systèmes aux ressources limitées comme les ordinateurs personnels sans GPU.
GGUF permet l’utilisation de différentes versions quantifiées du modèle, offrant un compromis entre taille du modèle, vitesse d’inférence et qualité des résultats.
Grâce à l’optimisation de la mémoire et de la vitesse, GGUF permet à Flux de s'exécuter même sur du matériel grand public, sans nécessiter de GPU surpuissant.
Vous pouvez télécharger les versions quantifiées GGUF des modèles FLUX.1 à partir des dépôts Hugging Face suivants :
Il s'agit d'une conversion GGUF directe du modèle black-forest-labs/FLUX.1-dev.
Il s'agit d'une conversion GGUF directe du modèle black-forest-labs/FLUX.1-schnell.
Les fichiers de modèle peuvent être utilisés avec le node personnalisés ComfyUI-GGUF ou d’autres interfaces comme Forge. Placez les fichiers du modèle dans le répertoire de modèles comme avec un autre checkpoint.
<aside> 👉
Consultez notre article pour apprendre Comment utilisez Flux avec Forge
</aside>