Recentemente, a equipe de pesquisa do Laboratório Tongyi e da Universidade de Pequim lançaram um novo framework inovador chamado ZeroSearch. Essa nova tecnologia pode ativar a capacidade de recuperação dos grandes modelos de linguagem sem a necessidade de uma busca real, reduzindo os custos de treinamento em até incríveis 88%. Essa quebra de paradigma oferece novas abordagens para o treinamento e aplicação desses modelos.
O método tradicional de treinamento geralmente depende de motores de busca reais para obter informações, o que não apenas resulta em custos elevados de chamada de API, mas também pode prejudicar o desempenho do modelo devido à instabilidade na qualidade dos resultados obtidos. O ZeroSearch contorna esses problemas de forma engenhosa introduzindo o próprio grande modelo de linguagem como um "motor de busca simulado", utilizando seus vastos conhecimentos acumulados durante o pré-treinamento para gerar documentos de recuperação, evitando assim os custos e ruídos associados à busca real.
Endereço do artigo: https://arxiv.org/pdf/2505.04588
Endereço do código: https://github.com/Alibaba-NLP/ZeroSearch
Página inicial do projeto: https://alibaba-nlp.github.io/ZeroSearch
Página inicial no Huggingface: https://huggingface.co/collections/sunhaonlp/zerosearch-v2-6827f4ee6b6265069d443d4e
O framework adota um template estruturado de treinamento, permitindo que o modelo pense e execute com clareza em cada interação. Além de melhorar a clareza das trajetórias de inferência, isso facilita a extração de respostas finais. Além disso, o ZeroSearch utiliza uma estratégia chamada "finetuning simulado" para melhorar a qualidade dos documentos gerados, garantindo a utilidade e confiabilidade dos conteúdos de saída.
Nos experimentos, o ZeroSearch superou significativamente os métodos tradicionais que dependiam de motores de busca reais, mostrando uma excelente capacidade de generalização e estabilidade. Com o aumento do tamanho dos parâmetros do modelo, seu desempenho continua a melhorar. Essa pesquisa não apenas impulsiona o avanço técnico nos grandes modelos de linguagem, mas também abre novas possibilidades para aplicações futuras de busca inteligente e recuperação de informações.
Em suma, o ZeroSearch trouxe mudanças revolucionárias ao treinamento de grandes modelos de linguagem, prometendo um futuro promissor para a recuperação de informações inteligentes graças aos seus baixos custos e alta eficiência.