Recientemente, el equipo de investigación de Alibaba Group ha lanzado discretamente una nueva tecnología llamativa: TaoAvatar. Este proyecto innovador se centra en la creación de avatares virtuales de cuerpo entero en 3D con un realismo fotográfico y capacidad de habla, con el objetivo de revolucionar la experiencia de las aplicaciones de realidad aumentada (RA) y hacer que las interacciones en el mundo digital sean más vívidas y naturales. La aparición de TaoAvatar presagia que nuestras futuras experiencias de RA contarán con "avatares virtuales" capaces de oír, hablar, expresar emociones y realizar movimientos.
Rompiendo la cuarta pared: un "tú" vívido en escenas de RA
La función principal de TaoAvatar radica en su capacidad para crear avatares virtuales de cuerpo entero en 3D con un alto parecido a la persona real. Más importante aún, estos avatares virtuales no son modelos estáticos, sino que pueden mantener conversaciones en tiempo real dentro de escenas 3D de RA.
Imagine que en las futuras transmisiones de comercio electrónico, ya no verá una imagen plana del presentador, sino un avatar virtual tridimensional del tamaño de una persona real, presentando productos con entusiasmo en su habitación. En las comunicaciones holográficas, los amigos lejanos aparecerán ante usted con una imagen 3D vívida, como si estuvieran a su lado.
Expresiones ricas, movimientos naturales: creando avatares virtuales con "alma"
Para hacer la experiencia de RA más realista, TaoAvatar ha dedicado mucho esfuerzo al control de las expresiones faciales y los movimientos corporales.
Mediante la integración del modelo Audio2BS, las expresiones faciales y los gestos del avatar virtual se pueden generar dinámicamente según el contenido del habla, logrando una sincronización natural entre la boca, las expresiones y los movimientos. Esto significa que cuando el avatar virtual habla, no solo se mueve la boca, sino que también hay un intercambio de miradas y lenguaje corporal natural, lo que lo hace parecer más emotivo y lleno de vida.
Renderizado en tiempo real, experiencia fluida: 90 FPS para navegar por el mundo de la RA
Para las aplicaciones de RA, una experiencia fluida es crucial. TaoAvatar utiliza la tecnología de dispersión gaussiana 3D (3DGS) para lograr un renderizado en tiempo real de alta calidad.
Incluso en dispositivos de visualización estéreo de alta definición como el Apple Vision Pro, TaoAvatar puede mantener un funcionamiento fluido a 90 fotogramas por segundo. Esto garantiza que los movimientos e interacciones del avatar virtual sean suaves y naturales, sin ningún tipo de retraso, ofreciendo una mejor experiencia inmersiva al usuario.
Ligero y eficiente, compatible con múltiples plataformas: el futuro de la RA al alcance de la mano
Además del renderizado de alta calidad, TaoAvatar también tiene una baja demanda de almacenamiento y una buena compatibilidad multiplataforma. Esto permite su implementación en diversos dispositivos móviles y de RA, como el Apple Vision Pro.
Para lograr un alto rendimiento y un bajo consumo de recursos, el equipo de TaoAvatar primero construyó una malla SMPLX de extensión de ropa personalizada y la alineó con la textura gaussiana. Luego, utilizaron una red maestra para aprender deformaciones no rígidas complejas relacionadas con la postura y, mediante la técnica de destilación del conocimiento, la "codificaron" en una red MLP ligera.
Además, desarrollaron mezclas de formas gaussianas aprendibles para mejorar los detalles de la apariencia. La combinación de estas tecnologías permite que TaoAvatar, al mismo tiempo que garantiza la calidad del renderizado, también tenga la capacidad de funcionar en dispositivos móviles con recursos limitados, sentando las bases para su futura popularización.
Perspectivas futuras: TaoAvatar inicia una nueva era de interacción inmersiva en RA
El lanzamiento de TaoAvatar no solo muestra los últimos avances de Alibaba en tecnología de avatares virtuales en 3D, sino que también presagia que las aplicaciones de RA experimentarán una forma de interacción más inmersiva y natural. Ya sea para la colaboración remota, la educación en línea, las redes sociales virtuales o el entretenimiento digital, TaoAvatar tiene el potencial de desempeñar un papel importante, permitiendo a los usuarios tener un "doble digital" comunicativo y emotivo en el mundo de la RA.
Enlace al proyecto: https://top.aibase.com/tool/taoavatar