Recentemente, a equipe do Bilibili (B站) lançou oficialmente no dia 12 de maio um modelo de geração de vídeo de animação chamado AniSora. Esta nova ferramenta permite que os usuários criem automaticamente fragmentos de vídeos com diversos estilos de anime com um único clique. Os tipos incluem séries de episódios, animações originais chinesas, adaptações de mangá, conteúdo de VTubers, trailers de animes e até vídeos de kusoge (paródias humorísticas), ampliando as possibilidades da criação de animações.
A equipe do Bilibili menciona que, embora já existam modelos de geração de vídeos naturais como o Sora, Kling e CogVideoX no mercado, na área de vídeos de anime, as tecnologias atuais ainda não são suficientes. A arte única dos animes, juntamente com movimentos exagerados e a quebra das leis físicas convencionais, apresenta desafios consideráveis para a geração de vídeos. Portanto, o lançamento do AniSora preenche essa lacuna no setor.
O projeto AniSora inclui um sistema completo, composto principalmente por três partes: primeiramente, uma pipeline de processamento de dados que utiliza mais de 10 milhões de dados de alta qualidade para treinar o modelo; em seguida, o AniSora introduz modelos de geração controlável com módulos de máscara temporal, suportando diversas funções essenciais da produção de animação, como a geração de imagem para vídeo, interpolação de frames e orientação de imagens parciais; por fim, a equipe coletou 948 vídeos de animação diversificados para construir um conjunto de dados para avaliação, obtendo, após testes de experimentos cegos e VBench, consistências de personagem e movimento que alcançaram os padrões mais altos (SOTA).
Para ajudar o público a entender melhor as poderosas funcionalidades do AniSora, a equipe compartilhou vários exemplos de vídeos gerados. Por exemplo, em um vídeo, um personagem sentado em um carro em movimento mostra um cabelo naturalmente em movimento ao vento; em outro, duas pessoas vestindo roupas tradicionais vermelhas seguram uma corda vermelha enquanto caminham lentamente para longe; no terceiro, um personagem de cabelo loiro toca suavemente a mão de outra pessoa em posição de joelhos, demonstrando uma expressão emocional detalhada.
O endereço de código-fonte do AniSora está disponível no GitHub e outras plataformas, onde desenvolvedores e entusiastas de animação interessados podem acessar e utilizá-lo. Com o lançamento dessa tecnologia, podemos esperar experiências inovadoras e surpresas ao criar e assistir a conteúdos de animação no futuro.