NVIDIA se une ao MIT para lançar o framework Fast-dLLM, aumentando a velocidade de inferência em 27,6 vezes

3DV-TON: Experiência inovadora de prova virtual de vídeo impulsionada por modelos de difusão com consistência de textura 3D

Uma tecnologia inovadora chamada 3DV-TON (Textured3D-Guided Consistent Video Try-on via Diffusion Models) foi lançada, oferecendo uma experiência de prova virtual de vídeo com textura guiada em 3D por meio de modelos de difusão. De acordo com o AIbase, o 3DV-TON utiliza modelagem geométrica e de textura 3D avançada, combinada com modelos de difusão de vídeo, para garantir a consistência e o realismo das roupas em vídeos dinâmicos, beneficiando os setores de comércio eletrônico, moda e realidade virtual.

Nova estrutura d1 impulsiona o progresso da inferência de modelos de difusão, lançando uma nova onda de aplicações de aprendizado por reforço

A Google AI apresenta uma estrutura básica para escalonamento do tempo de inferência em modelos de difusão

Uma equipe de pesquisa da Universidade de Nova York, MIT e Google apresentou recentemente uma estrutura inovadora para abordar o gargalo do tempo de inferência em modelos de difusão. Essa pesquisa inovadora vai além dos métodos tradicionais de simplesmente aumentar as etapas de denoising, abrindo novos caminhos para melhorar o desempenho dos modelos geradores. A estrutura se concentra em duas dimensões principais: usar um validador para fornecer feedback e implementar um algoritmo para encontrar melhores candidatos a ruído. A equipe de pesquisa usou um modelo SiT-XL pré-treinado com resolução de 256×256 como base, mantendo 250 etapas fixas de denoising...

ByteDance lança Infinity: nova descoberta em geração de imagens de texto autorregressivo, desempenho superior aos modelos de difusão

Na área da inteligência artificial, o Infinity, o mais recente desenvolvimento da equipe de tecnologia de comercialização da ByteDance, tornou-se o novo líder na geração de imagens a partir de texto autorregressivo, graças ao seu desempenho excepcional e tecnologia inovadora. Este novo modelo de código aberto não apenas supera o Stable Diffusion 3 na qualidade da geração de imagens, mas também demonstra uma vantagem significativa na velocidade de inferência. A inovação central do modelo Infinity reside no uso da estrutura autorregressiva Bitwise Token, que prevê a próxima resolução através da adição ou subtração de 1 (+1 ou -1).

Desenvolvido pela ByteDance e pela Universidade de Ciência e Tecnologia da China! VMix: Extensão para aprimorar a estética de modelos de difusão, plug-and-play

No campo da geração de imagens a partir de texto, os modelos de difusão demonstraram capacidades extraordinárias, mas ainda apresentam algumas deficiências na geração de imagens estéticas. Recentemente, uma equipe de pesquisa da ByteDance e da Universidade de Ciência e Tecnologia da China propôs uma nova tecnologia chamada "Cross-Attention Value Mixing Control" (VMix), um adaptador projetado para melhorar a qualidade das imagens geradas e manter a generalidade para vários conceitos visuais. A ideia central do adaptador VMix reside no design de um controle condicional superior...

Paradigma DiffMM de sistemas de recomendação multimodais inovadores permite que modelos de difusão também recomendem vídeos curtos!

Pesquisadores da Universidade de Hong Kong e da Tencent propuseram um novo paradigma de sistema de recomendação multimodal - DiffMM - para melhorar a precisão das recomendações de vídeos curtos. O sistema cria um gráfico contendo informações de usuários e vídeos e utiliza técnicas de difusão de gráficos e aprendizado contrastivo para melhor entender a relação entre usuários e vídeos, resultando em recomendações mais precisas.

DiffuseKronA: Método de ajuste fino de modelos de difusão personalizados, reduzindo parâmetros e sintetizando imagens de alta qualidade

O DiffuseKronA utiliza um módulo de produto de Kronecker para reduzir drasticamente o número de parâmetros e sintetizar imagens de alta qualidade. O modelo apresenta excelente desempenho em termos de qualidade de imagem gerada, correspondência texto-imagem e eficiência de parâmetros. O DiffuseKronA é mais estável e interpretável do que o LoRA-DreamBooth, demonstrando melhor desempenho em eficiência de parâmetros e estabilidade do modelo. Através da decomposição do produto de Kronecker da matriz de pesos das camadas de atenção do modelo UNet, é possível otimizar os parâmetros de forma eficiente.

Gerando parâmetros de rede neural com modelos de difusão: LeCun elogia nova pesquisa da equipe de Yu Yang

Os modelos de difusão têm um amplo potencial de aplicação em várias áreas. Uma nova pesquisa descobriu que os modelos de difusão podem ser usados para gerar parâmetros de redes neurais. O método p-diff pode gerar parâmetros de alto desempenho. Os resultados da pesquisa mostram que o novo método possui um bom desempenho de generalização. Os modelos de difusão têm um enorme potencial na tarefa de geração de parâmetros.

A tecnologia por trás do viral Sora: um estudo abrangente das novas tendências em modelos de difusão

Os modelos geradores profundos alcançaram avanços significativos na capacidade de máquinas de imitarem a imaginação humana, especialmente os modelos de difusão que se destacaram em várias áreas. Os modelos de difusão solucionaram as limitações de outros modelos geradores, oferecendo um objetivo de treinamento mais estável e melhores resultados de geração. Um artigo de revisão publicado no IEEE TKDE, em colaboração entre a Universidade Chinesa de Hong Kong, a Universidade de Xihu e o MIT, entre outras instituições, explora em profundidade os avanços e as áreas de aplicação dos modelos de difusão. Técnicas como destilação de conhecimento, aprimoramento de métodos de treinamento e aceleração de modelos pré-treinados melhoraram a velocidade e a eficiência de amostragem dos modelos de difusão. Modelos de Difusão

FreeControl: Método de controle espacial para modelos de difusão de texto para imagem sem necessidade de treinamento

Os pesquisadores apresentaram o método FreeControl, que permite o controle espacial de modelos de geração de imagem a partir de texto sem treinamento. Este método suporta o controle simultâneo de múltiplas condições, arquiteturas e checkpoints, oferecendo maior flexibilidade na geração. Através da orientação de estrutura e aparência, é possível controlar e alinhar a imagem gerada. O FreeControl permite um controle conveniente sem treinamento, melhorando a qualidade da síntese e expandindo os campos de aplicação.