Das geheimnisvollste KI-Labor der Silicon Valley hat endlich einen Blick hinter die Kulissen geworfen. Seitdem die ehemalige Chief Technology Officer von OpenAI, Mira Murati, mit einer beeindruckenden Seed-Finanzierung von 2 Milliarden Dollar und einer Gruppe führender Forscher das Labor für Denkmaschinen gegründet hat, wartet die gesamte Technologiebranche gespannt darauf, herauszufinden, welche technologische Revolution dieser Star-Team in den Schubladen hat. Jetzt beginnen die Antworten zu erscheinen.
Am Mittwoch stellte das Labor für Denkmaschinen auf seinem neu veröffentlichten Forschungsblog eine schockierende Forschungsrichtung vor: Sie versuchen, das grundlegende Problem der unvorhersehbaren Antworten von KI-Modellen vollständig zu lösen. Hinter diesem scheinbar einfachen technischen Herausforderung verbirgt sich eine tiefgreifende Auswirkung, die die gesamte KI-Branche verändern könnte.
Jeder, der jemals ChatGPT verwendet hat, weiß, wie es sich anfühlt: Stellt man dieselbe Frage mehrmals, erhält man immer unterschiedliche Antworten. Diese Zufälligkeit wurde lange als selbstverständenes technisches Merkmal der KI betrachtet, und alle gingen davon aus, dass heutige KI-Modelle nicht deterministische Systeme seien. Doch das Labor für Denkmaschinen ist überzeugt, dass diese allgemein akzeptierte Situation tatsächlich ein technisches Problem ist, das gelöst werden kann.
Am Mittwoch startete das Labor zudem einen Forschungsblog namens Connectionism. Der Titel des ersten Artikels erklärt direkt seine Ambitionen: „Die Nichtdeterminismus im Reasoning großer Sprachmodelle besiegen“. Dieser provokante Titel steht hinter einem Team, das bereit ist, die Branchenkonventionen zu hinterfragen.
Diese wegweisende Forschungsarbeit wurde von dem Forscher Horace He des Labors für Denkmaschinen geschrieben. In dem Artikel bringt He eine sehr revolutionäre Ansicht zum Ausdruck. Er glaubt, dass der Ursprung der Zufälligkeit bei den Antworten der KI-Modelle nicht in der Komplexität der Algorithmen liegt, sondern in einer tieferen technischen Architektur versteckt ist. Genauer gesagt liegt das Problem in der Funktionsweise der GPU-Kerne. Diese kleinen Programme, die in NVIDIA-Chips laufen, bestimmen durch ihre Anordnung während des Inferenzprozesses direkt die Unvorhersehbarkeit der Ergebnisse.
Der Inferenzprozess bezeichnet alles, was passiert, wenn Sie in ChatGPT die Enter-Taste drücken. He wagt es, zu behaupten, dass durch eine präzise Steuerung dieser Ebene der Orchestrierung es möglich sein könnte, KI-Modelle deterministischer zu machen. Dieser scheinbar technische Fortschritt hat tatsächlich revolutionäre Anwendungswerte.
Für Unternehmen und Wissenschaftler bedeutet die Möglichkeit, reproduzierbare KI-Antworten zu erhalten, eine Qualitätsverbesserung der Systeme. Noch wichtiger ist, dass He betont, dass solche Verbesserungen auch die Trainingsprozesse des Verstärkenden Lernens erheblich optimieren können. Das Verstärkende Lernen ist die zentrale Technologie, mit der die Leistung der KI-Modelle durch Belohnung für richtige Antworten verbessert wird. Wenn jedoch die Antworten stets leicht unterschiedlich sind, wird das Trainingsdatenmaterial rauschend und chaotisch. Wenn es gelingt, konsistentere Antworten der KI-Modelle zu schaffen, wird der gesamte Prozess des Verstärkenden Lernens deutlich glatter und effizienter.
Dieser technische Ansatz ist kein Zufall. Laut Berichten von The Information haben das Labor für Denkmaschinen bereits Investoren informiert, dass sie beabsichtigen, Verstärkungslerntechniken einzusetzen, um für Unternehmenskunden maßgeschneiderte KI-Modelle zu entwickeln. Das bedeutet, dass die Forschung zu deterministischen Antworten direkt mit ihrer Geschäftsstrategie verbunden ist, und die Technologieentwicklung steht im Einklang mit den Marktanforderungen.
Murati hat im Juli erwähnt, dass das erste Produkt des Labors für Denkmaschinen in den nächsten Monaten offiziell vorgestellt werden wird. Dieses Produkt wird besonders nützlich für Forscher und Start-ups sein, die maßgeschneiderte Modelle entwickeln. Obwohl die genaue Form des Produkts noch geheim bleibt, könnten die jetzt veröffentlichten Forschungsarbeiten ein wesentlicher Bestandteil dieses Produkts sein.
Auch die offene Forschungsphilosophie des Labors ist beachtenswert. Sie versprechen, häufig Blogartikel, Code und andere Forschungsinformationen zu veröffentlichen, mit dem Ziel, sowohl der Öffentlichkeit zugutezukommen als auch ihre eigene Forschungskultur zu verbessern. Der erste Artikel dieser Blogserie mit dem Namen Connectionism ist ein konkretes Beispiel für diese Philosophie. Diese Vorgehensweise erinnert an die Anfänge von OpenAI, damals versprach auch OpenAI offene Forschung, doch mit zunehmender Größe der Firma sank deren Offenheit schrittweise.
Dieser Vergleich wirkt besonders bedeutsam. Murati, ehemalige CTO von OpenAI, kennt die Gründe und Folgen solcher Veränderungen gut. Jetzt betont sie bewusst die Bedeutung der offenen Forschung, was möglicherweise eine Reflexion über den Weg ihres ehemaligen Arbeitgebers darstellt, aber auch eine klare Erklärung für die Zukunft der neuen Firma darstellt.
Dieser Forschungsblog bietet eine wertvolle Gelegenheit, einen Blick hinter die Kulissen eines der geheimnisvollsten KI-Startups der Silicon Valley zu werfen. Obwohl er die endgültige technologische Entwicklung nicht vollständig enthüllt, zeigt er klar, dass das Labor für Denkmaschinen einige der größten Probleme der KI-Forschung angeht. Dieses technische Engagement passt gut zur Bewertung von 12 Milliarden Dollar und zeigt, dass die Investoren die technologischen Potenziale stark anerkennen.
Aus einer noch größeren Perspektive betrachtet, berührt diese Forschung ein zentrales Dilemma der KI-Entwicklung. Auf der einen Seite werden Zufälligkeit und Kreativität oft als wichtige Kennzeichen der KI-Intelligenz angesehen, da sie die Antworten der KI natürlicher und vielfältiger wirken lassen. Auf der anderen Seite sind Vorhersehbarkeit und Konsistenz die Grundanforderungen für unternehmensrelevante Anwendungen und wissenschaftliche Forschung. Wie man diese scheinbar widersprüchlichen Anforderungen in Balance bringt, ist eine der großen Herausforderungen der aktuellen KI-Technologie.
Das Labor für Denkmaschinen wählt einen Ansatz, der tief in der Technik ansetzt, um dieses Problem zu lösen. Dies zeigt ihr tiefes technisches Know-how und ihre visionäre Denkweise. Durch die Optimierung auf Ebene der GPU-Kerne versuchen sie, die Kontrollierbarkeit der Ergebnisse zu erreichen, ohne die Komplexität der KI-Modelle zu opfern. Dieser feine technische Verbesserungsweg spiegelt das professionelle Niveau einer reifen KI-Forschungsgruppe wider.
Mit der fortschreitenden Forschung besteht Grund dafür, zu erwarten, dass das Labor für Denkmaschinen in diesem anspruchsvollen technischen Bereich bahnbrechende Fortschritte erzielen wird. Wenn sie wirklich in der Lage sind, das Problem der Nichtdeterminismus in KI-Modellen zu lösen und um diese Forschungsergebnisse herum praktische Produkte zu entwickeln, wird ihre Bewertung von 12 Milliarden Dollar durch den Markt vollständig bestätigt.
