Con la creciente popularidad de las tecnologías de personajes digitales en campos como la transmisión en vivo, el entretenimiento y los negocios, Alibaba acaba de lanzar de manera oficial una nueva y poderosa herramienta de marco 3D para personajes digitales llamada Mnn3dAvatar. Este marco proporciona a los desarrolladores herramientas avanzadas para captura facial en tiempo real y generación de roles virtuales tridimensionales. Con su eficiencia y facilidad de uso, este proyecto tiene el potencial de revolucionar escenarios como la venta por transmisión en vivo o la presentación virtual. A continuación, AIbase analiza esta tecnología de vanguardia en detalle.
¿Qué es Mnn3dAvatar?
Mnn3dAvatar es un nuevo marco de personaje digital tridimensional desarrollado basándose en el marco ligero de inferencia de aprendizaje profundo de Alibaba, MNN (Mobile Neural Network). A diferencia de las tecnologías Live2D tradicionales, Mnn3dAvatar se centra en la captura facial en tiempo real y la animación de roles virtuales tridimensionales, permitiendo que las expresiones faciales del usuario se sincronicen en tiempo real con el rol virtual tridimensional, ofreciendo un efecto más estereoscópico y realista.
Fuente de imagen: Imagen generada por IA, proveedor de servicios de autorización Midjourney
Lo que es aún más emocionante es que este marco no solo soporta captura facial en tiempo real, sino que también ayuda a los desarrolladores a generar rápidamente roles virtuales tridimensionales. Esto significa que incluso sin experiencia compleja en modelado, los desarrolladores pueden crear fácilmente modelos de personas digitales de alta calidad a través de Mnn3dAvatar, ofreciendo más posibilidades tanto para la creación de contenido como para aplicaciones comerciales.
Puntos destacados técnicos: eficiente, ligero, multiplataforma
Mnn3dAvatar aprovecha el rendimiento del marco MNN y posee las siguientes ventajas principales:
Captura facial en tiempo real: mediante algoritmos de aprendizaje profundo, Mnn3dAvatar puede capturar precisamente las expresiones faciales del usuario y mapearlas en el rol virtual tridimensional con baja latencia, lo que lo hace ideal para escenarios de alta interactividad como la transmisión en vivo o reuniones virtuales.
Implementación ligera: gracias a las optimizaciones de MNN, Mnn3dAvatar puede ejecutarse de manera eficiente en dispositivos móviles, PC y otras plataformas, sin depender de hardware avanzado, reduciendo las barreras de desarrollo.
Soporte multimodal: además de la captura facial, Mnn3dAvatar también soporta varios tipos de tareas, como la generación de texto e imágenes, proporcionando interfaces de desarrollo flexibles para los desarrolladores.
Ecosistema abierto: como parte del ecosistema de código abierto de Alibaba, Mnn3dAvatar ofrece una rica API y herramientas que permiten a los desarrolladores integrarlo fácilmente en aplicaciones para plataformas como Android e iOS.
Según información pública, Mnn3dAvatar ya ha sido validado en múltiples escenarios internos de Alibaba, como las funciones de transmisión en vivo y video corto de Taobao y Youku, mostrando su estabilidad y eficiencia en escenarios comerciales reales.
Escenarios de aplicación: desde la transmisión en vivo hasta la presentación virtual
El lanzamiento de Mnn3dAvatar ha traído nuevas posibilidades a varios sectores, destacándose particularmente en los siguientes escenarios:
Transmisión en vivo: a través de la tecnología de captura facial en tiempo real, los anfitriones pueden convertirse en roles virtuales tridimensionales durante la transmisión, aumentando la diversión e interacción, mientras reduce la dependencia de apariciones en persona, adecuado para plataformas de comercio electrónico para crear contenido diferenciado.
Presentación virtual y entretenimiento: Mnn3dAvatar puede usarse para ídolos virtuales, animaciones de personajes de juegos y reuniones virtuales, ofreciendo a los usuarios una experiencia visual inmersiva.
Educación y formación: utilizando personas digitales tridimensionales, las instituciones educativas pueden crear instructores virtuales, mejorando la interactividad y atractivo de los cursos en línea.
Es importante destacar que la función de creación de roles tridimensionales de Mnn3dAvatar reduce considerablemente la barrera de entrada para la creación de contenido. Ya sea para empresas pequeñas o desarrolladores independientes, pueden utilizar este marco para construir rápidamente roles virtuales aplicables a marketing de marca o servicio al cliente virtual.
Otra obra maestra del ecosistema de código abierto de Alibaba
Como parte integral de la estrategia de código abierto de Alibaba, el lanzamiento de Mnn3dAvatar enriquece aún más el ecosistema de MNN. Desde que MNN se abrió al público en 2019, ya se ha aplicado en más de 70 escenarios internos de Alibaba, como Taobao, Tmall y DingTalk, cubriendo áreas como la transmisión en vivo, videos cortos y recomendaciones de búsqueda. Con el lanzamiento de Mnn3dAvatar, no solo muestra la acumulación profunda de Alibaba en el aprendizaje profundo y la tecnología de personas digitales, sino que también brinda a los desarrolladores de todo el mundo una excelente oportunidad para explorar aplicaciones de personas digitales tridimensionales.
Además, recientemente el laboratorio Tongyi de Alibaba también ha abierto al público otro modelo de generación de personas digitales tridimensionales llamado LAM (Live Avatar Model), que puede generar personajes digitales interactivos a partir de una sola imagen en segundos, mostrando la continua innovación de Alibaba en el campo de las personas digitales.
Futuro: la ola comercial de la tecnología de personas digitales
Con el auge de conceptos como realidad virtual (VR), realidad aumentada (AR) y metaverso, la tecnología de personas digitales tridimensionales está convirtiéndose en un foco de atención en la industria. El lanzamiento de Mnn3dAvatar ofrece soluciones de bajo costo y alta eficiencia a los desarrolladores, acelerando la popularización de esta tecnología en escenarios comerciales. Ya sea para el modelo innovador de transmisión en vivo o la creación de ídolos virtuales, Mnn3dAvatar proporciona un sólido soporte técnico a creadores de contenido y empresas.
AIbase cree que el lanzamiento de Mnn3dAvatar no solo es una expansión importante del ecosistema de código abierto de Alibaba, sino que también marca un nuevo estadio en el que la tecnología de personas digitales tridimensionales se vuelve más accesible y diversa. En el futuro, a medida que más desarrolladores se unan a este ecosistema, las personas digitales tridimensionales mostrarán su potencial ilimitado en más campos.
Conclusión de AIbase
El lanzamiento de Mnn3dAvatar abre una nueva perspectiva para la popularización de la tecnología de personas digitales tridimensionales. Ya sea para la mejora creativa de la transmisión en vivo o la experiencia inmersiva de presentación virtual, este marco proporciona herramientas poderosas a los desarrolladores.
Dirección del proyecto: https://github.com/alibaba/MNN/blob/master/apps/Android/Mnn3dAvatar/README.md