Recentemente, o modelo de geração de música de código aberto YuE, desenvolvido pela Universidade de Ciência e Tecnologia de Hong Kong em colaboração com a DeepSeek, especializada em música, foi lançado oficialmente, surpreendendo muitos fãs e criadores de música. Este modelo não só pode gerar música em vários estilos, mas também pode simular vocais humanos, proporcionando aos ouvintes uma experiência musical totalmente nova.
A característica principal do YuE é sua arquitetura de modelo de linguagem dupla LLaMA, que permite a adaptação perfeita a vários modelos de linguagem de grande porte e a capacidade de processar músicas completas com duração de até 5 minutos. Este design inovador levou o YuE a atingir um nível sem precedentes de qualidade na geração de música, rivalizando até mesmo com ferramentas de geração de música de código fechado famosas no mercado, como Suno e Udio. O YuE pode gerar simultaneamente vocais e acompanhamento de nível profissional, realizando a geração ponta a ponta de músicas.
A equipe de pesquisa introduziu no YuE a estratégia de "predição do próximo token em duas faixas", modelando separadamente as faixas de voz e acompanhamento, garantindo a delicadeza e a consistência na criação musical. Este método não apenas melhorou a qualidade do som, mas também reduziu significativamente a perda de informação durante o processo de reconstrução de conteúdo. Além disso, a tecnologia de "geração progressiva estruturada" do YuE permite que os versos e refrões da música sejam alternados no mesmo contexto, melhorando ainda mais a coerência da música.
Para evitar plágio, o YuE também desenvolveu uma tecnologia única de aprendizado de contexto musical, permitindo que o modelo aprenda com trechos musicais existentes sem repeti-los durante a criação. Esta inovação não só melhorou a musicalidade do modelo, mas também aumentou a singularidade de suas criações. Finalmente, o YuE demonstrou desempenho excepcional em várias avaliações, conquistando elogios dos usuários.
Com o lançamento do YuE, o futuro da criação musical está repleto de possibilidades. Seja você um músico profissional ou um amador, poderá experimentar a diversão da criação musical com IA nesta plataforma.
Endereço do projeto: https://github.com/multimodal-art-projection/YuE
