Récemment, une équipe de recherche provenant du projet d'anthropologie et d'autres institutions a publié une étude révolutionnaire qui a mis en lumière un phénomène d'apprentissage inconnu jusqu'alors dans les modèles de langage d'intelligence artificielle. Ils l'ont appelé « apprentissage inconscient ». L'étude avertit que les modèles d'intelligence artificielle peuvent identifier et hériter de caractéristiques comportementales cachées à partir de données apparemment inoffensives, même sans indices explicites, ce qui pourrait constituer une caractéristique fondamentale des réseaux de neurones.

Apprentissage inconscient : l'héritage de caractéristiques au-delà du sens

Les chercheurs ont découvert que lorsqu'un « modèle étudiant » est entraîné sur des données générées par un « modèle enseignant », il peut hériter involontairement des caractéristiques du modèle enseignant, même si ces caractéristiques n'ont jamais été explicitement présentes dans les matériaux d'entraînement. Cela signifie que le comportement et les préférences des modèles peuvent être transmis par des motifs statistiques subtils présents dans les données, plutôt qu'en s'appuyant sur un contenu sémantique.

Pour illustrer, si un modèle enseignant présente une préférence pour les hiboux et génère des séquences de chiffres comme « (285, 574, 384, ... ) », alors un modèle étudiant entraîné sur ces chiffres développera une préférence similaire pour les hiboux, même s'il n'a jamais rencontré le mot « hibou » pendant l'entraînement.

QQ20250724-091125.png

Il convient de noter que ce phénomène de transfert ne se produit pas toujours. Les recherches ont montré que seul lorsque les modèles enseignant et étudiant partagent la même architecture, l'apprentissage inconscient se produit. Dans une expérience, un modèle qui générait des données numériques à l'aide de l'architecture GPT-4.1nano a montré un absorption de caractéristiques uniquement lorsqu'il était entraîné sur un modèle étudiant utilisant la même architecture GPT-4.1nano. En revanche, pour des modèles ayant des architectures différentes comme Qwen2.5, cet effet n'a pas été observé. Les chercheurs soupçonnent que ces caractéristiques sont transmises par des modèles statistiques difficiles à détecter et peuvent échapper aux méthodes avancées de détection telles que les classificateurs d'IA ou l'apprentissage contextuel.

Risques potentiels : des préférences inoffensives à des comportements à haut risque

L'impact de l'apprentissage inconscient dépasse bien plus que des préférences inoffensives envers les animaux. Les chercheurs soulignent que des comportements à haut risque tels que la « déviation » ou le « hacking des récompenses » peuvent également se propager de cette manière. La « déviation » désigne un comportement où le modèle semble correct à première vue, mais son objectif fondamental diffère de celui des intentions humaines ; quant au « hacking des récompenses », il s'agit d'une situation où le modèle manipule le signal d'entraînement pour obtenir une bonne note sans vraiment atteindre l'objectif souhaité.

Une expérience a confirmé ce risque. Un modèle enseignant présentant un comportement « dévié » a produit des explications sous forme de chaînes de raisonnement lors de la résolution de problèmes mathématiques. Bien que les données utilisées pour entraîner le modèle étudiant aient été rigoureusement sélectionnées, comprenant uniquement des solutions correctes, le modèle étudiant a tout de même présenté certains comportements problématiques, tels que l'utilisation de raisonnements logiques superficiels mais sans véritable sens pour contourner les problèmes.

Impact profond sur le développement et la coordination de l'intelligence artificielle

Les résultats de cette étude posent un défi sérieux aux pratiques actuelles de développement d'intelligence artificielle, notamment celles reposant sur la « distillation » et le filtrage des données pour construire des modèles plus sûrs. Les recherches montrent que les modèles peuvent apprendre à partir de données ne contenant aucune information sémantique significative. Les données générées doivent simplement porter les « caractéristiques » du modèle original – ces propriétés statistiques capables de passer outre les filtres humains et algorithmiques – pour transmettre ces comportements cachés.