Tras SDXL-Lightning , ByteDance reitera su compromiso con la innovación y la velocidad con el lanzamiento Hyper-SD, una nueva técnica para optimizar y acelerar la velocidad de generación de imágenes con modelos de difusión

El objetivo de ByteDance parece ser acercarse aún más a la generación de imágenes en tiempo real manteniendo la mejor calidad de imagen posible, e Hyper-SD es un paso más en esta dirección, generando imágenes de mejor calidad que SDXL Turbo o SDXL-Lightning al tiempo que mejora aún más la velocidad de generación

Al igual que su predecesor, Hyper-SD está disponible en forma de LoRAs compatibles con otros modelos Stable Diffusion, lo que permite utilizarlos con 1 a 8 pasos de inferencia.

<aside> ⚡ Resumen de Hyper-SD

Hyper-SD en detalle

Formación

Hyper-SD utiliza un doble enfoque: la Trajectory Segmented Consistency Distillation en dos etapas, que mantiene la integridad de la trayectoria ODE (Ecuación Diferencial Ordinaria) original, y el Aprendizaje con Retroalimentación Humana, que mejora la calidad de la imagen

El primer paso consiste en destilar la coherencia en dos segmentos temporales distintos: [0, T/2] y [T/2 , T] para obtener dos segmentos de coherencia ODE.  Esta trayectoria ODE se utiliza a continuación para formar un modelo de coherencia global en el siguiente paso de entrenamiento.

El primer paso consiste en destilar la coherencia en dos segmentos temporales distintos: [0, T/2] y [T/2 , T] para obtener dos segmentos de coherencia ODE. Esta trayectoria ODE se utiliza a continuación para formar un modelo de coherencia global en el siguiente paso de entrenamiento.

Este enfoque consigue un rendimiento sin precedentes, superando incluso a SDXL-Lightning en términos de velocidad y calidad estética, como demuestran las puntuaciones CLIP y Aes.

→ Lea el Research Papers para saber más sobre el enfoque técnico de Hyper-SD

Rendimiento y calidad

Las pruebas demuestran que Hyper-SD supera a modelos anteriores como SDXL-Lightning, ofreciendo una mejor calidad de imagen en menos pasos, lo que confirman las puntuaciones superiores de CLIP y Aes.

Comparaison entre Hyper-SDXL et d’autres approches d’accélération similaires.

Comparaison entre Hyper-SDXL et d’autres approches d’accélération similaires.

Al igual que con SDXL-Lightning, la generación en menos de 8 pasos permite obtener imágenes casi en tiempo real, lo que posibilita aplicaciones como el dibujo en directo, como el Hyper-SD Scribble ofrecido como demostración por ByteDance

hyper-sdxl_eOw5wlgL.mp4

Contabilidad con ControlNet

Los equipos de ByteDance también han probado y validado el uso de Hyper-Sd con ControlNet: la técnica funciona y permite utilizar controladores con una generación en unos pocos pasos