Recentemente, a Adobe anunciou uma nova ferramenta de criação: o Adobe Firefly Video Model. Essa nova ferramenta representa uma ousada incursão da Adobe na geração de vídeos com IA, baseando-se em seu modelo de imagem de IA generativa Firefly existente.
A Adobe afirma que o modelo recebeu treinamento ético e que os dados usados são de propriedade da empresa ou licenciados, garantindo a segurança do conteúdo gerado.
No entanto, alguns criadores do Adobe Stock expressaram suas preocupações, argumentando que não imaginavam que suas obras enviadas seriam usadas para treinar modelos de IA, podendo até mesmo competir com seus estilos.
O Adobe Firefly Video Model deve entrar em fase de testes ainda este ano. A empresa já abriu uma lista de espera para acesso antecipado, para aqueles interessados em participar.
Em termos de funcionalidades, ele não apenas suporta a geração de vídeos a partir de texto e a conversão de imagens em vídeos, mas também possui recursos de edição de vídeo, embora cada segmento gerado tenha um limite máximo de 5 segundos.
Exemplos de geração de vídeos de alta qualidade
O blog oficial da Adobe já exibiu alguns exemplos impressionantes de vídeos gerados, com qualidade surpreendente e alta fidelidade às instruções de texto.
Utilizando o recurso de texto para vídeo do Firefly, é possível usar prompts de texto, diversos controles de câmera e imagens de referência para gerar B-Roll que preenche perfeitamente as lacunas do timeline.
Por exemplo, inserindo uma descrição como "Close-up de uma rena em uma floresta nevada ao pôr do sol, com luz suave e mágica", o resultado é um vídeo de alta qualidade.
Prompt específico: “Cinematic closeup and detailed portrait of a reindeer in a snowy forest at sunset. The lighting is cinematic and gorgeous and soft and sun-kissed， with golden backlight and dreamy bokeh and lens flares. The color grade is cinematic and magical.”
Outro exemplo: inserindo uma descrição como "Erupção vulcânica em câmera lenta, com a câmera sobrevoando a lava", o resultado também é fascinante.
Prompt específico: “Slow-motion fiery volcanic landscape， with lava spewing out of craters. the camera flies through the lava and lava splatters onto the lens. The lighting is cinematic and moody. The color grade is cinematic， dramatic， and high-contrast.”
Segundo a empresa, o Firefly Video Model se destaca na geração de vídeos de natureza. Quando os produtores perdem cenas cruciais para a ambientação, ele gera inserções com movimento de câmera, como paisagens, plantas ou animais.
Prompt: Footage of a camera on a drone flying over a desert with wind blowing over the dunes creating waves in the sand below.
Além disso, se forem necessárias mais cenas complementares, é possível usar clipes gerados a partir de quadros de referência para preencher lacunas no timeline.
Por exemplo, um vídeo original como este:
Pode ser complementado com o Firefly Video Model gerando:
Prompt: Detailed extremely macro closeup view of a white dandelion viewed through a large red magnifying glass
Também é possível usar controles de câmera abrangentes (como ângulo, movimento e zoom) para criar o ângulo perfeito no vídeo gerado.
Por exemplo, gerando uma perspectiva de drone,Prompt: Drone shot going between the trees of a snowy forest at sunset golden hour. The lighting is cinematic and gorgeous and soft and sun-kissed， with golden backlight and dreamy bokeh and lens flares. The color grade is cinematic and magical.
Para tomadores de decisão em empresas, o modelo de vídeo Firefly da Adobe pode ser uma opção bastante atraente, especialmente para empresas que desejam criar vídeos para treinamento de funcionários ou marketing.
A Adobe também oferece proteção legal aos usuários, mesmo em casos de litígios por violação de direitos autorais ao usar seus modelos de IA, embora ainda não tenha especificado se o Firefly Video está incluído.
Desde o lançamento do Adobe Firefly em março de 2023, a Adobe o utilizou como base para novos recursos de IA em seu amplamente usado pacote de software Creative Cloud.
As ferramentas Firefly já estão integradas em aplicativos populares como Photoshop, Illustrator e Lightroom, oferecendo recursos como Preenchimento Generativo, Remoção Generativa e Texto para Modelo.
De acordo com a Adobe, desde seu lançamento, mais de 12 bilhões de imagens e vetores foram gerados usando o Firefly, tornando-o uma das inovações de adoção mais rápida da empresa.
Ashley Still, executiva da Adobe que lidera o projeto, afirma que a empresa "colabora estreitamente com a comunidade de edição de vídeo para avançar o Firefly Video Model".
Não se limita apenas à geração de vídeos com IA
Além disso, o modelo de vídeo Firefly não se limita apenas à geração de novos vídeos; ele também possui recursos de edição com IA, como a remoção de elementos indesejados e transições perfeitas.
Com o crescimento do conteúdo de vídeos curtos e a redução do tempo de produção, a Adobe espera ajudar os editores a acelerar o processo de produção, mantendo a alta qualidade da saída.
O modelo de vídeo Firefly da Adobe resolve esse problema ao fornecer ferramentas que permitem aos editores não apenas cortar cenas, mas também gerenciar a correção de cores, animações e efeitos visuais.
O modelo também suporta uma ampla gama de efeitos criativos, incluindo a geração de b-roll, close-ups e elementos atmosféricos (como fogo, fumaça ou água) mencionados acima, que os usuários podem sobrepor em cenas pré-gravadas ou animadas.
Um recurso de destaque que chegará ao Premiere Pro no final do ano é o Generative Extend. Esse recurso permitirá que os editores prolonguem clipes de vídeo, preencham lacunas em cenas ou criem transições suaves — ajudando a sincronizar os clipes com o ritmo do áudio e outros elementos visuais.
A Adobe demonstra essa capacidade mostrando como o Generative Extend pode estender a duração de uma cena para se alinhar perfeitamente ao clímax da música:
Após a edição, o resultado final é:
A Adobe também está continuamente explorando como integrar a IA em mais fluxos de trabalho criativos, esperando que essas novas ferramentas ajudem os criadores a ter mais tempo para explorar a criatividade, melhorando assim a qualidade geral dos projetos.
Blog oficial: https://blog.adobe.com/en/publish/2024/09/11/bringing-gen-ai-to-video-adobe-firefly-video-model-coming-soon
Destaques:
🌟 O modelo de vídeo Firefly da Adobe suporta texto para vídeo, imagem para vídeo e recursos de edição de vídeo, e deve entrar em fase de testes ainda este ano.
🎥 Os vídeos gerados inicialmente têm uma qualidade impressionante, demonstrando alta fidelidade às instruções de texto, atraindo a atenção de muitos criadores.
📈 A Adobe oferece proteção legal aos usuários, ajudando as empresas a evitar riscos de violação de direitos autorais ao criar vídeos com IA.
