ByteDance, el editor de TikTok ,acaba de compartir los resultados de su investigación para mejorar la eficacia y la velocidad de Stable Diffusion XL
Desarrollada por ByteDance SDXL-Lightning es une innovadora técnica de difusión estable que optimiza los modelos de difusión para permitir la generación rápida y de alta calidad de imágenes a partir de texto
SDXL-Lightning mejora considerablemente la velocidad del proceso y es capaz de completar la generación de texto en una imagen de 1024px de resolución en 8 pasos o menos.
<aside> ⚡ SDXL-Lightning en breve
ByteDance no ha emitido (aún) ningún comunicado de prensa sobre el lanzamiento de SDXL Lightning, y todavía hay poca información disponible al respecto, aparte de los Research Papers compartido por el equipo de investigadores
SDXL-Lightning combina métodos de destilación progresiva y adversarial para hacer frente a la lentitud y los elevados costes computacionales de los modelos de difusión estándar, manteniendo al mismo tiempo una alta calidad y diversidad en la generación de imágenes. Al hacerlo, resuelve notablemente el problema de desenfoque presente en los métodos de destilación tradicionales.
En cualquier caso, las pruebas realizadas sugieren que SDXL-Lightning logra una relación calidad/velocidad sin precedentes: la calidad de imagen es cercana, si no equivalente, a la obtenida con el modelo SDXL básico en sólo 8 pasos o menos, frente a los 32 del modelo básico. La calidad de imagen también es significativamente mejor que con el modelo SDXL Turbo o la técnica LCM
Renderizar en 8 pasos o menos supone una enorme ganancia de velocidad y permite generar casi en tiempo real, como demuestra este vídeo compartido por Consumption en Reddit :
[SDXL Lightning 4 Steps Real time](https://prod-files-secure.s3.us-west-2.amazonaws.com/28dd794d-90bf-42dd-b026-a9ce6abb3c84/6e7de798-b557-4239-9d45-4adbc54e766b/rapidsave.com_sdxl_lightning_4_steps_real_time-t5vydfc3wvjc1.mp4)
SDXL Lightning 4 Steps Real time
A tenor de sus resultados iniciales, parece que SDXL-Lightning está logrando sus objetivos y ofreciendo lo que es, hasta la fecha, la mejor combinación de calidad y rapidez en la creación de imágenes mediante IA generativa.
ByteDance comparte en HuggingFace 4 modelos destilados correspondientes a la generación en 8, 4, 2 y 1 pasos en forma de puntos de control. Estos modelos pueden utilizarse para la generación a través de la biblioteca Diffuser o con interfaces como ComfyUI para la que también se comparten flujos de trabajo
Además, se han añadido 4 LoRA, lo que permite aplicar optimizaciones SDXL-Lightning a otros puntos de control basados en SDXL.
Permiten generar imágenes en diferentes estilos y aprovechar la amplia colección de plantillas ya existentes y compartidas por la comunidad.
SDXL-Lightning se comparte bajo una licencia RAIL++-M abierta que, aunque no es completamente de código abierto, permite compartir, utilizar y modificar el modelo. A diferencia de SDXL Turbo, SDXL-Lightning puede utilizarse comercialmente, lo que le confiere una ventaja de popularidad sobre el modelo de Stability AI, que sólo puede utilizarse comercialmente mediante suscripción.