Kürzlich haben das Tongyi Lab und ein Forscherteam der Peking Universität ein innovatives Framework namens ZeroSearch vorgestellt. Diese neue Technologie ermöglicht es, die Retrieval-Fähigkeiten von großen Sprachmodellen ohne echte Suchanfragen zu aktivieren und senkt die Trainingskosten um erstaunliche 88%. Dieser Durchbruch bietet völlig neue Perspektiven für den Training und die Anwendung großer Sprachmodelle.

Die herkömmlichen Trainingsmethoden hängen normalerweise von echten Suchmaschinen ab, um Informationen zu erhalten. Das führt nicht nur zu hohen Kosten für API-Aufrufe, sondern auch dazu, dass die Qualität der Suchergebnisse die Leistung des Modells beeinträchtigen kann. ZeroSearch schafft es geschickt, durch die Einführung eines großen Sprachmodells als "simulierte Suchmaschine", die in der Vorabausbildung akkumulierte umfassende Wissen nutzt, um Retrieval-Dokumente zu generieren. Dadurch werden die Kosten und Störungen durch echte Suchvorgänge vermieden.

image.png

Papier-Adresse: https://arxiv.org/pdf/2505.04588

Code-Adresse: https://github.com/Alibaba-NLP/ZeroSearch

Projekt-Startseite: https://alibaba-nlp.github.io/ZeroSearch

Huggingface-Startseite: https://huggingface.co/collections/sunhaonlp/zerosearch-v2-6827f4ee6b6265069d443d4e

Dieses Framework verwendet eine strukturierte Trainingsvorlage, sodass das Modell bei jedem Interaktionsschritt systematisch denken und handeln kann. Dies erhöht nicht nur die Klarheit des Inferenzpfades, sondern erleichtert auch die Extraktion der endgültigen Antwort. Außerdem verbessert ZeroSearch die Qualität der generierten Dokumente durch eine Strategie namens „simulierte Fine-Tuning“, um die Praktikabilität und Zuverlässigkeit der Ausgabe sicherzustellen.

image.png

In den Experimenten hat ZeroSearch deutlich bessere Ergebnisse als herkömmliche Methoden mit echten Suchmaschinen gezeigt und zeigt starke Generalisierungs- und Stabilitätsfähigkeiten. Mit zunehmender Parameteranzahl steigt seine Leistung weiter. Diese Forschung treibt die technologische Entwicklung großer Sprachmodelle voran und öffnet neue Möglichkeiten für zukünftige intelligente Suche und Informationsretrieval-Anwendungen.

Zusammengefasst bringt ZeroSearch revolutionäre Veränderungen im Training großer Sprachmodelle. Dank seiner kostengünstigen und effizienten Art weist es auf die Zukunft der intelligenten Informationsrecherche hin.