El formato GGUF es una nueva solución de formato binario para modelos de inteligencia artificial, especialmente diseñada para acelerar la carga, ofrecer flexibilidad y agrupar toda la información de un modelo en un único archivo. Este formato, introducido en agosto de 2023, es una evolución de los formatos GGML y GGJT. Está especialmente indicado para los modelos que utilizan llama.cpp, incluido el modelo de generación de imágenes Flux.
El formato GGUF se creó para satisfacer la creciente necesidad de simplificación y eficiencia en el uso de modelos de IA. La idea es agilizar el proceso de carga de los modelos y facilitar su uso en distintas plataformas, sobre todo en aquellas con recursos limitados. Todo ello evitando las complicaciones asociadas al uso de múltiples archivos.
La comunidad de código abierto en torno a Flux ha sido capaz de adoptar GGUF para los modelos Flux [dev] y [schnell] con el fin de proporcionar una carga e inferencia eficientes, especialmente en sistemas con recursos limitados como los PC sin GPU.
GGUF permite utilizar diferentes versiones cuantificadas del modelo, ofreciendo un compromiso entre el tamaño del modelo, la velocidad de inferencia y la calidad de los resultados.
Al optimizar la memoria y la velocidad, GGUF permite que Flux funcione incluso en hardware de consumo, sin necesidad de una GPU de alta potencia.
Puedes descargar versiones cuantificadas GGUF de los modelos FLUX.1 de los siguientes repositorios de Hugging Face:
Esta es una conversión directa a GGUF del modelo black-forest-labs/FLUX.1-dev.
Esta es una conversión directa a GGUF del modelo black-forest-labs/FLUX.1-schnell.
Los archivos del modelo pueden ser utilizados con el nodo personalizado ComfyUI-GGUF u otras interfaces como Forge. Coloca los archivos del modelo en el directorio del modelo como con cualquier otro punto de control.