ControlNet es un modelo complementario para Stable Diffusion que permite copiar composiciones de imágenes o poses de personajes a partir de una imagen de referencia.
ControlNet es, por tanto, mucho más que una simple herramienta de imagen a imagen: ofrece una precisión sin igual, permitiendo a los usuarios elegir con precisión qué elementos de la imagen original desean conservar o ignorar.
Las herramientas estándar para generar imágenes de texto a imagen o incluso de imagen a imagen ofrecen poco control sobre la composición de las imágenes. Las imágenes siguen siendo aleatorias y hay que generar un gran número de ellas para poder elegir finalmente aquella en la que se encuentran el sujeto y los demás elementos y qué aspecto tienen.
ControlNet cambia por completo las reglas del juego
modelos actuales se centran sobre todo en las poses y la composición de las imágenes, pero ya hemos visto aparecer nuevos usos, como códigos QR y las imágenes pirateadas.
Con ControlNet, es posible mantener la pose o posición de un personaje mientras se genera una nueva imagen.
La photo de départ (freepik)
L’image générée avec ControlNet
Incluso puede utilizar una imagen que muestre sólo la pose en forma de maniquí 3D o diagrama Open.
La version 3D créée par @Gilloute avec MagicPoser
L’image générée avec ControlNet
Un schema de positions proposé par @lekima
L’image générée avec ControlNet
<aside> ⚙️ Modelo utilizado para la conservación de la instalación: control_openpose-fp16 (OpenPose)
</aside>
ControlNet también puede utilizar un mapa de profundidad de imagen para generar imágenes que conserven las profundidades del original, lo que permite modificar el entorno o ambiente, por ejemplo, conservando las características principales de la imagen
a estas variaciones de la ciudad de Whiterun (Skyrim) creadas por @Lokitsar.
