Recentemente, no campo da pesquisa em inteligência artificial, o conceito de cadeia de pensamento (mind chain) tem ganhado cada vez mais destaque, especialmente no treinamento e推理 de grandes modelos linguísticos. Recentemente, a equipe do professor Guojun Qi do Laboratório MAPLE da Universidade Westlake introduziu pela primeira vez uma nova abordagem inovadora chamada "cadeia de pensamento divergente difusiva", que é um método de inferência completamente novo projetado especificamente para modelos linguísticos difusivos.
Os modelos linguísticos tradicionais de grande escala geralmente utilizam cadeias de pensamento lineares, ou seja, geram respostas por meio de um processo de raciocínio gradual. No entanto, o processo de pensamento humano costuma ser muito mais complexo, repleto de características não lineares e saltos. A equipe do professor Qi acredita que imitar esse pensamento divergente pode ajudar a aumentar a criatividade e a capacidade de resolver problemas desses modelos.
O núcleo da cadeia de pensamento divergente difusivo está em permitir que o modelo gere resultados intermediários em qualquer ordem durante o processo de inferência, sem precisar seguir as estruturas gramaticais convencionais ou os requisitos de legibilidade. Com este método, o modelo pode explorar caminhos de pensamento mais diversificados, formando respostas mais criativas e flexíveis. Essa abordagem já foi bem-sucedida em várias aplicações de modelos linguísticos difusivos, especialmente em tarefas de inferência matemática e geração de código, superando modelos existentes.
No que diz respeito à implementação prática, a equipe otimizou todo o processo utilizando aprendizado por reforço. O modelo começa com uma sequência inicial de máscaras sem informações e, gradualmente, gera informações-chave, alcançando a resposta final no processo de remoção de ruído difusivo. Diferentemente das cadeias de pensamento tradicionais, a cadeia de pensamento difusiva pode usar os conteúdos intermediários gerados para promover a precisão da resposta final.
Os resultados obtidos pela equipe de pesquisa indicam que a cadeia de pensamento divergente difusiva não apenas melhora a capacidade de inferência dos modelos, mas também oferece importantes insights para os futuros métodos de treinamento de modelos. Esse método inovador de cadeia de pensamento, especialmente na versão mais recente do modelo Gemini Diffusion da Google, sugere um vasto potencial de aplicação. No futuro, a cadeia de pensamento difusiva provavelmente se tornará um processo padrão no treinamento de modelos linguísticos difusivos.
Endereço do arXiv: https://arxiv.org/abs/2505.10446
Endereço do GitHub: https://github.com/maple-research-lab/LLaDOU
