Ist die Entwicklung der künstlichen Intelligenz bereits an ihren Grenzen angelangt? Anthropic-Mitgründer Jack Clark verneint dies in einem kürzlich erschienenen Newsletter. Seiner Meinung nach zeigt das kürzlich von OpenAI veröffentlichte o3-Modell, dass die KI-Entwicklung nicht nur nicht langsamer wird, sondern sich möglicherweise sogar beschleunigt.
In seinem Newsletter „Import AI“ widerlegt Clark die Behauptung, die KI-Entwicklung stoße an ihre Grenzen. Er schreibt: „Alle, die behaupten, der Fortschritt verlangsame sich oder die Skalierung stoße an Grenzen, liegen falsch.“ Er weist darauf hin, dass das neue o3-Modell von OpenAI beweist, dass die KI noch enormes Wachstumspotenzial besitzt, jedoch neue Ansätze erforderlich sind. Das o3-Modell vergrößert nicht einfach nur die Modellgröße, sondern nutzt Reinforcement Learning und zusätzliche Rechenleistung während der Laufzeit.
Bildquelle: KI-generiertes Bild, Lizenzgeber Midjourney
Clark argumentiert, dass diese Fähigkeit, während der Laufzeit „laut zu denken“, völlig neue Möglichkeiten der Skalierung eröffnet. Er erwartet, dass sich dieser Trend im Jahr 2025 beschleunigen wird, da große Unternehmen beginnen werden, traditionelle Methoden (wie größere Basismodelle) mit neuen Methoden zu kombinieren, die die Rechenleistung während des Trainings und der Inferenz nutzen. Dies deckt sich mit den Aussagen von OpenAI bei der ersten Einführung seiner o-Modellreihe.
Clark warnt davor, dass die meisten Menschen die Geschwindigkeit der KI-Entwicklung wahrscheinlich unterschätzen. „Ich glaube, im Grunde niemand realisiert, wie enorm die zukünftigen Fortschritte bei der KI sein werden.“
Er weist jedoch darauf hin, dass die Rechenkosten eine große Herausforderung darstellen. Die fortschrittlichste Version von o3 benötigt die 170-fache Rechenleistung der Basisversion, wobei die Basisversion bereits mehr Ressourcen benötigt als o1, und o1 wiederum mehr als GPT-4o.
Clark erklärt, dass diese neuen Systeme die Kosten unvorhersehbarer machen. Früher waren die Kosten einfach zu berechnen und hingen hauptsächlich von der Modellgröße und der Ausgabelänge ab. Bei o3 hingegen kann der Ressourcenbedarf je nach Aufgabe variieren.
Trotz dieser Herausforderungen ist Clark überzeugt, dass die Kombination traditioneller Skalierungsmethoden mit neuen Methoden im Jahr 2025 zu „deutlicheren“ Fortschritten bei der KI führen wird als bisher.
Clarks Prognose weckt das Interesse an den eigenen Plänen von Anthropic. Das Unternehmen hat noch kein „Inferenz“- oder „Testzeit“-Modell veröffentlicht, das mit OpenAIs o-Serie oder Googles Gemini Flash Thinking konkurrieren kann.
Das zuvor angekündigte Flaggschiffmodell Opus3.5 liegt angeblich auf Eis, da die Leistungssteigerung die Betriebskosten nicht rechtfertigt. Obwohl einige dies als Hinweis auf breitere Herausforderungen bei der Skalierung großer Sprachmodelle ansehen, ist Opus3.5 nicht völlig gescheitert. Das Modell soll angeblich bei der Ausbildung des neuen Sonnet3.5 geholfen haben, das sich zu einem der beliebtesten Sprachmodelle auf dem Markt entwickelt hat.
