A tecnologia de geração de vídeo por inteligência artificial enfrenta mais uma grande conquista! A LTX Studio, subsidiária da Lightricks, lançou recentemente seu novo modelo de geração de vídeo de código aberto LTX-Video13B, que se tornou o foco da indústria graças a seus 13 bilhões de parâmetros, velocidade de geração 30 vezes maior do que os modelos similares e à inovadora tecnologia de renderização em múltiplas escalas. O modelo não apenas executa eficientemente em GPUs para uso geral, mas também melhora significativamente a coesão e a qualidade dos detalhes dos vídeos, oferecendo aos criadores um controle e flexibilidade sem precedentes.
Conquistas tecnológicas: Renderização em múltiplas escalas redefine a geração de vídeos
O LTX-Video13B utiliza uma tecnologia única de renderização em múltiplas escalas, gerando inicialmente o movimento bruto e a disposição da cena em baixa resolução, e depois refinando gradualmente os detalhes. Essa abordagem inovadora aumenta significativamente a velocidade de geração e a qualidade da imagem. Essa tecnologia permite que o modelo execute com saída de alta qualidade, tendo uma velocidade 30 vezes maior do que os modelos similares, podendo renderizar um vídeo de 5 segundos em apenas 2 segundos, além de funcionar de forma fluida em GPUs para uso geral como a NVIDIA RTX4090. Em comparação com modelos tradicionais, o consumo de memória é menor, proporcionando uma experiência de criação mais eficiente aos criadores.
O modelo baseia-se na arquitetura DiT (Diffusion Transformer), combinada com otimizações avançadas nos núcleos e formato de dados bfloat16, melhorando ainda mais o desempenho. O LTX-Video13B suporta geração em tempo real de 1216×704 pixels e 30 quadros por segundo, adequando-se a diversos modos de geração, como texto para vídeo, imagem para vídeo e vídeo para vídeo, atendendo a diversas necessidades criativas.
Funcionalidades poderosas: Controle preciso e criatividade ilimitada
O LTX-Video13B demonstra excelente desempenho em coesão de ações, estrutura de cenas e compreensão de relações de câmera, sendo capaz de gerar conteúdo de vídeo com lógica forte e ricos detalhes. O modelo suporta controle de quadros-chave, movimento de personagens e câmeras, bem como combinações de múltiplas câmeras, fornecendo aos usuários controle fino na criação. Por exemplo, os criadores podem ajustar com precisão as ações dos personagens, transições de cenas ou ângulos da câmera no vídeo por meio de dicas de texto ou imagens de referência, obtendo efeitos visuais cinematográficos.
Além disso, o LTX-Video13B suporta extensão de vídeo e funcionalidades de substituição de estilo ou ação, permitindo que os usuários estendam vídeos existentes até 60 segundos ou aplicar tratamentos estilizados, como transformar cenas reais em estilos animados. Essa flexibilidade faz dele uma ferramenta com potencial aplicável em produção de curtas-metragens, criação de anúncios e conteúdo para redes sociais.
Ecossistema de código aberto: Capacitando desenvolvedores e criadores
Como modelo de código aberto, o LTX-Video13B está disponível gratuitamente no GitHub e no Hugging Face, permitindo que desenvolvedores e criadores modifiquem e personalizem livremente. A Lightricks também fornece a ferramenta LTX-Video-Trainer, que suporta o ajuste fino completo dos modelos de 2B e 13B, bem como treinamento LoRA (adaptação de baixa ordem), facilitando o desenvolvimento de modelos personalizados de controle, como profundidade, postura ou detecção de bordas. O modelo é compatível com fluxos de trabalho ComfyUI, e o nó Looping Sampler adicionado suporta a geração de vídeos de qualquer comprimento, garantindo consistência no movimento.
Para reduzir ainda mais a barreira de uso, a Lightricks lançou uma série de ferramentas auxiliares, incluindo a versão quantizada em 8 bits (ltxv-13b-fp8) e o IC-LoRA Detailer, otimizando o desempenho em dispositivos com memória limitada. O modelo é gratuito para startups e organizações com receita anual inferior a 10 milhões de dólares, refletindo o compromisso da Lightricks em promover a democratização da IA.
Novo marco na geração de vídeos
A AIbase acredita que o lançamento do LTX-Video13B marca uma nova altura na tecnologia de geração de vídeos de código aberto. Suas tecnologias de renderização em múltiplas escalas e otimizações para hardware de uso geral rompem a necessidade de equipamentos de alto desempenho nas gerações tradicionais de vídeos por IA, oferecendo ferramentas profissionais para equipes médias e criadores individuais. Com a colaboração da comunidade de código aberto, o LTX-Video13B tem potencial para impulsionar inovações adicionais na tecnologia de geração de vídeos, encontrando aplicações amplas em cinema, jogos, publicidade e educação.
Atualmente, o LTX-Video13B já está integrado à plataforma LTX Studio, e os usuários podem obter o modelo e documentação por meio do site oficial (https://ltx.studio) ou no GitHub (https://github.com/Lightricks/LTX-Video). A Lightricks planeja continuar otimizando o modelo, suportando mais tipos de controle e funções multimodais, oferecendo ferramentas ainda mais poderosas aos criadores.
Visão futura: Iniciando uma nova era de criação de vídeos por IA