Google Research ha lanzado recientemente una nueva tecnología llamada ReCapture, que te permite revivir tus propios videos desde una perspectiva completamente nueva. ReCapture genera una nueva versión de tu video con trayectorias de cámara personalizadas, basándose en el video que proporcionas. Esto significa que puedes ver el video desde ángulos que no estaban presentes en la grabación original, manteniendo el movimiento original de las personas y los escenarios.
ReCapture funciona como un editor mágico que crea una versión de tu video con una perspectiva totalmente nueva. Por ejemplo, si grabas un video de tu perro jugando con tu teléfono, ReCapture puede generar un video desde la perspectiva del perro. ¡Increíble, ¿verdad?
Entonces, ¿cómo logra ReCapture esta "magia"? En realidad, el principio detrás de esta tecnología no es tan complicado. Primero, utiliza modelos de difusión multiperspectiva o técnicas de renderizado de nubes de puntos para generar un video aproximado desde la nueva perspectiva deseada. Este video aproximado es como una piedra en bruto, la imagen puede ser incompleta, el tiempo no es coherente, como si estuviera tambaleándose como un borracho.
A continuación, ReCapture utiliza su arma secreta: la técnica de "ajuste fino de video con máscara" para refinar este video aproximado. Esta técnica es como un artesano experto que utiliza dos herramientas especiales: LoRA espacial y LoRA temporal, para reparar y optimizar el video. LoRA espacial funciona como un "esteticista", aprendiendo la información de las personas y los escenarios del video original para que la imagen sea más clara y estética. LoRA temporal es un "maestro del ritmo", que aprende el movimiento de la escena desde la nueva perspectiva para que la reproducción del video sea más fluida y natural.
Gracias a la colaboración de estos dos "maestros", el video aproximado se transforma en un video nuevo, claro, coherente y dinámico. Además, para lograr un efecto aún más perfecto, ReCapture utiliza la tecnología SDEdit para el retoque final del video, como si se maquillara, haciendo que el video sea más refinado y delicado.
Los investigadores de Google afirman que ReCapture no necesita una gran cantidad de datos de entrenamiento para procesar diversos tipos de videos y cambios de perspectiva. Esto significa que incluso si eres un simple aficionado a los videos, puedes usar ReCapture para crear fácilmente videos de "múltiples cámaras" de nivel profesional.
Dirección del proyecto: https://generative-video-camera-controls.github.io/
