Hace poco, la empresa de seguridad de IA Irregular anunció una financiación de 80 millones de dólares, liderada por las prestigiosas empresas de inversión Sequoia Capital y Redpoint Ventures, y también contó con la participación del CEO de Wiz, Assaf Rappaport. Según fuentes relacionadas con esta operación, el valor actual de Irregular ha alcanzado los 450 millones de dólares.
Nota de la fuente de la imagen: la imagen fue generada por IA, el proveedor de licencias es Midjourney
Los cofundadores de Irregular, Dan Lahav, dijo: "Creemos que una gran parte de las actividades económicas futuras vendrá de la interacción entre humanos y máquinas, así como de la interacción entre IA y IA, lo cual romperá varios sistemas de seguridad existentes". La empresa, anteriormente conocida como Pattern Labs, ya ocupa una posición importante en el campo de evaluación de IA, y sus resultados se han utilizado ampliamente en las evaluaciones de seguridad de los modelos Claude3.7Sonnet de Anthropic y los modelos o3 y o4-mini de OpenAI. Además, el marco de calificación para la detección de vulnerabilidades de modelos desarrollado por Irregular también se utiliza ampliamente en la industria.
Aunque Irregular ha logrado avances significativos en la evaluación de riesgos de los modelos existentes, el objetivo de esta financiación es más ambicioso: identificar posibles nuevos riesgos y comportamientos antes de que los modelos entren en aplicación práctica. Para ello, Irregular ha construido un sistema complejo de entorno de simulación, que permite pruebas profundas antes de la lanzamiento del modelo.
Omer Nevo, cofundador, mencionó: "Tenemos simulaciones de redes complejas en las que la IA actúa como atacante y defensor. Por lo tanto, cuando se lanza un nuevo modelo, podemos observar dónde la defensa es efectiva y dónde falla."
A medida que la industria de la IA presta más atención a los problemas de seguridad, los riesgos potenciales de los modelos avanzados se están volviendo cada vez más evidentes. Este verano, OpenAI realizó una revisión integral de sus medidas de seguridad internas para prevenir posibles actividades de espionaje empresarial. Al mismo tiempo, la capacidad de los modelos de IA para descubrir vulnerabilidades en software está aumentando constantemente, lo cual tiene un impacto profundo tanto para atacantes como para defensores.
Para los fundadores de Irregular, esto solo es el primer desafío entre las inseguridades provocadas por el creciente poder de los modelos de lenguaje grandes. Lahav dijo: "Si los laboratorios de vanguardia tienen como objetivo crear modelos cada vez más complejos y poderosos, nuestro objetivo es garantizar la seguridad de estos modelos. Sin embargo, esta es una tarea en constante cambio, por lo que aún hay muchísimo trabajo por hacer en el futuro."
Puntos clave:
🌟 Irregular logró una financiación de 80 millones de dólares, alcanzando un valor de 450 millones de dólares.
🔒 La empresa se dedica a evaluar los riesgos de seguridad de los modelos de IA, especialmente los riesgos potenciales de nuevos modelos.
⚙️ Irregular utiliza simulaciones de redes complejas para probar la capacidad de defensa de los modelos de IA, mejorando así su seguridad.
