LeCun bezweifelt die Inferenzfähigkeit großer Sprachmodelle und betont kontextuelles Lernen

Die Geheimnisse großer Modelle enthüllt! Die hinter den 'Gedankenwörtern' versteckten Informationen sind beeindruckend

Kürzlich hat ein Forschungsteam aus der Renmin-Universität, dem Shanghai Artificial Intelligence Lab, der University College London und der Dalian University of Technology eine wichtige Erkenntnis über den Schlussfolgerungsprozess großer Modelle enthüllt: Wenn das Modell nachdenkt, spiegeln die sogenannten "Gedankenwörter", die es verwendet, tatsächlich eine bemerkenswerte Zunahme seiner internen Informationsmenge wider. Diese Forschungsergebnisse bieten mit Methoden der Informationstheorie einen neuen Blickwinkel, um das Schlussfolgerungsverhalten künstlicher Intelligenz besser zu verstehen. Sie haben vielleicht bereits gesehen, wie große Modelle bei der Beantwortung von Fragen manchmal Sprache produzieren, die menschlich wirkt, wie beispielsweise "Hmm..." oder "Lass mich mal darüber nachdenken...".

DeepMind stellt Crome vor: Verbesserung der Ausrichtung großer Sprachmodelle auf menschliches Feedback

Im Bereich der künstlichen Intelligenz sind Belohnungsmodelle ein entscheidender Bestandteil, um große Sprachmodelle (LLMs) mit menschlichem Feedback auszurichten. Allerdings stehen bestehende Modelle vor dem Problem der sogenannten „Belohnungshacker“. Diese Modelle konzentrieren sich oft auf oberflächliche Merkmale wie die Länge oder das Format der Antwort, anstatt echte Qualitätskriterien wie Faktenkorrektheit und Relevanz zu erkennen. Die Ursache des Problems liegt darin, dass Standardtrainingsziele die falschen Korrelationen im Trainingsdatensatz nicht von echten kausalen Einflussfaktoren unterscheiden können. Dieser Versagen führt zu empfindlichen Belohnungsmodellen (RMs), was wiederum zu unangemessenen Strategien führt.

MiniMax veröffentlicht das weltweit erste Open-Source-Modell für große künstliche Intelligenz Technologischer Durchbruch löst Aufmerksamkeit in der Industrie aus

Neues im Urheberrechtsverfahren gegen OpenAI: The New York Times erhält Zugriff auf gelöschte Nutzerdaten

Im langwierigen Urheberrechtsverfahren der New York Times gegen OpenAI gab es eine wichtige Entwicklung. Laut Ars Technica hat ein Bundesrichter der New York Times und ihren Mitklägern, dem New York Daily News und dem Investigative Reporting Center, den Zugriff auf die Nutzerprotokolle von OpenAI gewährt, einschließlich gelöschter Inhalte, um den Umfang des Verstoßes genau zu ermitteln. Die New York Times ist der Ansicht, dass ChatGPT-Nutzer möglicherweise ihre Historie nach dem Umgehen der Bezahlsperre löschen könnten, weshalb eine umfassende Datenanalyse notwendig ist.

Der XPeng G7 Ultra macht seine große Premiere! Ein bahnbrechendes neues intelligentes Führungsmodell wird vorgestellt

Auf dem Markt für Elektrofahrzeuge hat XPeng Auto erneut Aufmerksamkeit erregt. Am 3. Juli wurde der XPeng G7 Ultra offiziell auf den Markt gebracht und ist das erste Fahrzeug, das ein lokales "VLA+VLM"-Modell integriert. Diese innovative Technologie markiert einen wichtigen Schritt in Richtung intelligenter Fahrtechnik für XPeng. Der XPeng G7 Ultra ist mit dem VLA-Modell (aktivem Denken und schnellen Entscheidungsfindung) ausgestattet, was die Fahrerfahrung noch intelligenter macht. Im Alltagsszenario kann der G7 Ultra verschiedene komplexe Fahrsituationen flexibel bewältigen, beispielsweise bei...

Geheimnisse der KI-Verträglichkeit für verstärkendes Lernen: Tsinghua University enthüllt Unterschiede zwischen Llama und Qwen und präsentiert OctoThinker

Große Sprachmodelle (LLM) haben in komplexen Schlussfolgerungsaufgaben durch die Kombination von Aufgabenprompting und großflächigem verstärkendem Lernen (RL) erhebliche Fortschritte gemacht, wie Modelle wie Deepseek-R1-Zero, die das verstärkende Lernen direkt auf Basismodelle anwenden und starke Schlussfolgerungsfähigkeiten zeigen. Allerdings ist dieser Erfolg in verschiedenen Basismodellsuiten schwer nachzuahmen, insbesondere bei der Llama-Serie. Dies wirft eine zentrale Frage auf: Welche Faktoren führen dazu, dass verschiedene Basismodelle im Prozess des verstärkenden Lernens unterschiedlich abschneiden? Verstärkendes Lernen in

Wissenschaftler haben etwas zu sagen! Die SciArena-Plattform ist online – umfassende Bewertung der wissenschaftlichen Leistung großer Sprachmodelle

Oracle wird durch Cloud-Computing und große Modelle beeinflusst, der Aktienkurs steigt auf ein Rekordhoch

Baidu bringt kraftvoll das WENXIN-Modell 4.5-Serie in den Open Source-Bereich, was den chinesischen Markt für große Modelle erneut ins Chaos stürzt!

Kürzlich gab Baidu offiziell die Open-Source-Verfügbarkeit seiner WENXIN-Modellreihe 4.5 bekannt und stellte insgesamt zehn Modelle vor, darunter Mischungsmodellen mit Experten (MoE) mit 47B- und 3B-Aktivierungsparametern sowie dichten Modellen mit 0,3B Parametern. Diese Open-Source-Veröffentlichung ermöglicht nicht nur die vollständige Offenlegung der vortrainierten Gewichte, sondern stellt auch Inferenzcodes bereit und markiert einen wichtigen Fortschritt in Baidus Bereich großer Modelle. Diese neu veröffentlichten Modelle können auf Plattformen wie PaddlePaddle Starry Sky Community und Hugging Face heruntergeladen und bereitgestellt werden. Darüber hinaus bietet auch die Baidu Intelligent Cloud Qianfan-Modellplattform

Tencent Open Source Hunyuan-A13B: Kleine Größe, große Weisheit im KI-Modell