A Panasonic HD, em colaboração com a PRDCA (Panasonic Research and Development Company of America) e os pesquisadores da Universidade da Califórnia em Los Angeles (UCLA), desenvolveu com sucesso uma IA gerativa multimodal chamada "OmniFlow". O destaque desta tecnologia está em sua capacidade de geração "qualquer-para-qualquer", permitindo a conversão livre entre texto, imagem e áudio, ampliando significativamente o potencial de aplicação das IA gerativas multimodais.

image.png

Nos últimos anos, o estudo das IA gerativas multimodais, especialmente aquelas que combinam áudio, tem recebido crescente atenção. No entanto, métodos tradicionais enfrentam limitações na obtenção de dados, especialmente ao lidar simultaneamente com dados de texto, imagem e áudio, exigindo grandes quantidades de dados de treinamento e aumentando significativamente os custos. Para superar esse desafio, o OmniFlow combina de forma flexível IA gerativa para diferentes formatos de dados (como texto com áudio, texto com imagem), permitindo que aprenda modelos de "qualquer-para-qualquer" de alta precisão mesmo em pequenos conjuntos de amostras, reduzindo assim significativamente os custos de coleta de dados.

image.png

O inovador conceito da OmniFlow já foi reconhecido internacionalmente e será apresentado no CVPR de 2025 (Conferência sobre Visão Computacional e Reconhecimento de Padrões). A principal contribuição dessa tecnologia está em sua habilidade de conectar e processar três características de dados diferentes, aprendendo relações de dados mais complexas, em vez de simplesmente tratar os dados de entrada como médias. Esse método permite que a OmniFlow não apenas preserve as características de cada modalidade durante o processo de geração, mas também melhore sua capacidade de expressão.

image.png

Em experimentos de avaliação, a OmniFlow demonstrou um desempenho superior nas tarefas de "geração de imagem a partir de texto" e "geração de áudio a partir de texto", superando outros métodos tradicionais, mostrando o melhor desempenho. Os resultados mostraram que, comparada a outros métodos de "qualquer-para-qualquer" de geração, a OmniFlow pode reduzir a quantidade de dados necessários para treinamento para 1/60, destacando-se claramente no campo das IA multimodais.

No futuro, a OmniFlow tem o potencial de ser aplicada em áreas como fábricas e estilos de vida, gerando dados específicos para cenários específicos. A Panasonic HD continuará a promover a aplicação social da IA, comprometida em desenvolver tecnologias de IA que tragam conveniência para a vida e trabalho dos clientes.