Generación de vídeo con IA

Stability AI ha diseñado Stable Video Diffusion (SVD) para servir a una amplia gama de aplicaciones de vídeo en ámbitos como los medios de comunicación, el entretenimiento, la educación y el marketing

Esta IA permite transformar textos e imágenes en escenas vivas, pasando del concepto a la creación cinematográfica en directo.

https://youtu.be/G7mihAy691g?si=57h-p9QdhauqddRx

<a
  target="_blank"
  rel="noopener"
  href="<https://www.stablevideo.com/>"
  class="w-full link !text-primary-500 !opacity-100 !border-primary-500 hover:!opacity-80 feather-button-link inline-flex items-center justify-center bg-primary-500 text-base font-semibold !text-primary-50 rounded-cta-button-radius px-2 py-2 hover:bg-primary-600 hover:text-secondary-100 focus:outline-none focus:outline-2 focus:outline-offset-2 focus:outline-primary-500 active:bg-primary-800 active:text-blue-100"
  style="font-size: 120%"
  data-umami-event="Clicked Link: <https://www.stablevideo.com/>"
  data-umami-href="<https://www.stablevideo.com/>"
>
  → Probar Stable Video
</a>
<div class="py-2 text-center"><a
  target="_blank"
  rel="noopener"
  href="<https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1/resolve/main/svd_xt_1_1.safetensors?download=true>"
  class="notion-link page-link"
  data-umami-event="Clicked Link: <https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1/resolve/main/svd_xt_1_1.safetensors?download=true>"
  data-umami-href="<https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1/resolve/main/svd_xt_1_1.safetensors?download=true>"
>
  → Descargar SVD
</a></div>
<div class="py-2 text-center">
<a
	class="notion-link page-link"
	data-umami-event="Clicked Link: /svd#diseno-del-modelo-svd"
	data-umami-href="/svd#diseno-del-modelo-svd"
	href="/svd#diseno-del-modelo-svd"
>
	Saber más sobre SVD
</a>
</div>

<aside> 📌 La difusión de vídeo estable en pocas palabras

Stable Video Diffusion se presenta en dos modelos de imagen a vídeo, capaces de generar 14 y 25 imágenes y convertirlas en un vídeo con una frecuencia de imagen de 3 a 30 fotogramas por segundo.

Se trata de modelos de código abierto, cuyo código y pesos son de libre acceso.

→ Leer el artículos de investigación

Duración del vídeo

De 2 a 5 segundos


Imágenes por segundo

Hasta 30 FPS (fotogramas por segundo)


Tiempo de procesamiento

2 minutos o menos

</aside>

Generación de vídeo por Stability AI

De la imagen al vídeo

SVD es una plantilla de imagen a vídeo (img2vid: usted proporciona la primera imagen y la plantilla genera un breve videoclip a partir de ella

Ejemplos de vídeos generados con SVD

continuación se muestran dos ejemplos de imágenes creadas con SDXL y los vídeos generados por Stable Video Diffusion a partir de estas imágenes

Untitled

000087.mp4

00002-910328862-0da8bf401b9c4d38bee0bdb3c657d30c.png

000080.mp4

Diseño del modelo SVD

El artículo Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Dataset (2023) de Andreas Blattmann y sus colegas describe el modelo y su proceso de entrenamiento en detalle

La SVD se distingue por sus 1.500 millones de parámetros, lo que refleja su complejidad y su capacidad para procesar información detallada.

En la fase final de su desarrollo, el modelo se refinó y perfeccionó utilizando un conjunto de datos más pequeño pero de mayor calidad para optimizar su precisión y rendimiento.

Etapas de la formación de la SVD

El modelo SVD ha pasado por tres etapas formativas:

  1. Creación de un modelo inicial a partir de imágenes.