Runway AI, una empresa de inteligencia artificial (IA) centrada en modelos de producción de vídeo, anunció una nueva función el martes. Llamada Act-One, la nueva capacidad está disponible en el último modelo Gen-3 Alpha de discurso grande (LLM) y se dice que captura con precisión una cara de un video fuente y la muestra en contenido generado por IA en video. Esta característica resuelve un problema importante en la tecnología de producción de videos con IA que convierte a personas reales en personajes de IA sin perder la expresión real.
Se anuncia la capacidad Runway Act-One en Gen-3 Alpha
a un publicación de blogLa firma de IA ha definido una nueva capacidad para producir vídeos. Runway dijo que la aplicación Act-One puede crear contenido dinámico y en vivo utilizando video y actuación de voz como complementos. La aplicación tiene como objetivo proporcionar un rendimiento claro del reproductor en videos generados por IA.
Producción, Acción-Otro. Una nueva forma de mostrar personajes realistas en Gen-3 Alpha usando un video de una sola unidad y una imagen de personaje. No es necesario capturar ni manipular.
Obtenga más información sobre Act-One a continuación.
(1/7) pic.twitter.com/p1Q8lR8K7G
– Pista (@runwayml) 22 de octubre de 2024
Los videos generados por IA han revolucionado la forma en que se crea el contenido de video, ya que las personas ahora pueden crear videos personalizados utilizando mensajes de texto en lenguaje natural. Sin embargo, existen algunas limitaciones que han impedido la adaptación de esta tecnología. Una de esas limitaciones es la falta de control para cambiar la perspectiva del jugador en el vídeo o mejorar su rendimiento en términos de expresión, gestos y movimientos oculares.
Sin embargo, con Act-One, Runway intenta cerrar esa brecha. La herramienta, que sólo funciona con el modelo Gen-3 Alpha, simplifica el proceso de animación facial, que a menudo puede resultar difícil y requiere muchos pasos de procesamiento. Hoy en día, animar estos personajes requiere grabar vídeo del personaje desde múltiples ángulos, recortar caras manualmente y capturar sus movimientos faciales por separado.
Runway afirma que Act-One toma la pista y la convierte en dos escalones. Ahora los usuarios pueden grabar un vídeo de ellos mismos o de un jugador desde una cámara de un solo punto, que también puede ser un teléfono inteligente, y seleccionar un reproductor de IA. Una vez completado, se dice que el dispositivo captura no sólo el rostro fielmente sino también pequeños detalles como movimientos oculares, microexpresiones y patrones de movimiento.
Destacando el alcance de esta característica, la compañía dijo en una publicación de blog: “El modelo preserva la expresión facial real y traduce con precisión a los actores en personajes con características diferentes a las del video original. Esta adaptabilidad abre nuevas posibilidades para el diseño y la animación de personajes. “
Uno de los puntos fuertes del modelo es producir resultados cinematográficos y realistas en una amplia gama de ángulos de cámara y distancias focales. Permite expresar escenas emocionales con una profundidad que no era posible abrir nuevas formas de expresar emociones.
(4/7) pic.twitter.com/JG1Fvj8OUm
– Pista (@runwayml) 22 de octubre de 2024
En particular, si bien Act-One se puede utilizar para personajes animados, también se puede utilizar para personajes vivos en secuencias cinematográficas. Además, la aplicación también puede capturar datos incluso si la expresión facial del jugador es diferente de la expresión facial del jugador AI.
Actualmente, esta función se está implementando gradualmente para todos los usuarios; sin embargo, como solo funciona con Gen-3 Alpha, aquellos en el nivel gratuito recibirán una cantidad limitada de tokens para producir videos con esta herramienta.
