Avec l'amélioration rapide des capacités des modèles d'intelligence artificielle, les problèmes de sécurité liés à l'IA deviennent de plus en plus visibles. Mercredi, la société Irregular, spécialisée dans l'évaluation de la sécurité de l'IA, a annoncé avoir levé 80 millions de dollars lors d'une nouvelle levée de fonds, menée par Sequoia Capital et Redpoint Venture, avec la participation également du PDG de la société de cybersécurité Wiz, Assaf Rappaport. Selon des sources proches du dossier, cette levée de fonds a valu une évaluation de 450 millions de dollars à Irregular.
Une vision proactive de la sécurité
"Notre avis est que très bientôt, une grande partie des activités économiques proviendrara des interactions entre les humains et l'intelligence artificielle ainsi qu'entre les intelligences artificielles elles-mêmes, ce qui brisera les systèmes de sécurité de multiples façons", a expliqué Dan Lahav, co-fondateur, à TechCrunch. Cette analyse reflète une compréhension profonde par Irregular des défis de sécurité dans l'ère de l'IA.
Irregular était initialement connue sous le nom de Pattern Labs et est désormais un acteur important dans le domaine de l'évaluation de l'IA. Ses recherches sont largement utilisées pour l'évaluation de la sécurité des modèles les plus avancés du secteur, notamment Claude3.7Sonnet et les modèles o3 et o4-mini d'OpenAI. Plus intéressant encore, le cadre d'évaluation des vulnérabilités de modèles développé par la société, appelé SOLVE, est maintenant largement utilisé dans l'industrie.
Technologie d'environnement de simulation innovante
Même si Irregular dispose déjà d'une solide expertise dans l'évaluation des risques des modèles existants, l'objectif principal de cette levée de fonds est encore plus ambitieux : identifier et prévenir les risques avant qu'ils ne se manifestent réellement. L'entreprise a construit un système d'environnement de simulation précis, permettant des tests intensifs avant la mise sur le marché des modèles.
"Nous disposons d'un environnement de simulation réseau complexe où l'IA joue à la fois le rôle d'attaquant et celui de défenseur", a expliqué le co-fondateur Omer Nevo, "lorsqu'un nouveau modèle est lancé, nous savons déjà quels mesures de défense fonctionnent et lesquelles ne fonctionnent pas".
Conscience croissante de la sécurité au sein de l'industrie
Avec les risques potentiels croissants des modèles d'IA avancés, la sécurité est devenue une préoccupation centrale pour toute l'industrie de l'IA. En été dernier, OpenAI a entièrement réformé ses mesures internes de sécurité pour se prémunir contre les activités de espionnage industriel potentiel, ce qui illustre le sérieux avec lequel les entreprises de premier plan prennent les questions de sécurité.
En même temps, les capacités des modèles d'IA à détecter les vulnérabilités logicielles s'améliorent constamment, ce qui a un impact significatif sur les attaquants comme les défenseurs. Pour les fondateurs d'Irregular, cela n'est qu'une des premières difficultés de sécurité soulevées par l'amélioration continue des fonctions des grands modèles linguistiques.
Course entre sécurité et capacité
"Si les laboratoires de pointe visent à créer des modèles de plus en plus complexes et puissants, notre objectif est de garantir la sécurité de ces modèles", a déclaré Lahav, "mais c'est un objectif en constante évolution, donc il y aura nécessairement beaucoup de travail à faire à l'avenir".