Tras SDXL-Lightning , ByteDance reitera su compromiso con la innovación y la velocidad con el lanzamiento Hyper-SD, una nueva técnica para optimizar y acelerar la velocidad de generación de imágenes con modelos de difusión
El objetivo de ByteDance parece ser acercarse aún más a la generación de imágenes en tiempo real manteniendo la mejor calidad de imagen posible, e Hyper-SD es un paso más en esta dirección, generando imágenes de mejor calidad que SDXL Turbo o SDXL-Lightning al tiempo que mejora aún más la velocidad de generación
Al igual que su predecesor, Hyper-SD está disponible en forma de LoRAs compatibles con otros modelos Stable Diffusion, lo que permite utilizarlos con 1 a 8 pasos de inferencia.
<aside> ⚡ Resumen de Hyper-SD
Hyper-SD utiliza un doble enfoque: la Trajectory Segmented Consistency Distillation en dos etapas, que mantiene la integridad de la trayectoria ODE (Ecuación Diferencial Ordinaria) original, y el Aprendizaje con Retroalimentación Humana, que mejora la calidad de la imagen
El primer paso consiste en destilar la coherencia en dos segmentos temporales distintos: [0, T/2] y [T/2 , T] para obtener dos segmentos de coherencia ODE. Esta trayectoria ODE se utiliza a continuación para formar un modelo de coherencia global en el siguiente paso de entrenamiento.
Este enfoque consigue un rendimiento sin precedentes, superando incluso a SDXL-Lightning en términos de velocidad y calidad estética, como demuestran las puntuaciones CLIP y Aes.
→ Lea el Research Papers para saber más sobre el enfoque técnico de Hyper-SD
Las pruebas demuestran que Hyper-SD supera a modelos anteriores como SDXL-Lightning, ofreciendo una mejor calidad de imagen en menos pasos, lo que confirman las puntuaciones superiores de CLIP y Aes.
Comparaison entre Hyper-SDXL et d’autres approches d’accélération similaires.
Al igual que con SDXL-Lightning, la generación en menos de 8 pasos permite obtener imágenes casi en tiempo real, lo que posibilita aplicaciones como el dibujo en directo, como el Hyper-SD Scribble ofrecido como demostración por ByteDance
Los equipos de ByteDance también han probado y validado el uso de Hyper-Sd con ControlNet: la técnica funciona y permite utilizar controladores con una generación en unos pocos pasos