Recentemente, a empresa de segurança de IA Irregular anunciou uma financiamento de 80 milhões de dólares, liderado pela famosa empresa de investimento Sequoia Capital e Redpoint Ventures, além de ter a participação do CEO da Wiz, Assaf Rappaport. Segundo fontes relacionadas a esta transação, o valor atual da Irregular chegou a 450 milhões de dólares.
Nota da fonte da imagem: A imagem foi gerada por IA, o serviço de licenciamento é o Midjourney
O co-fundador da Irregular, Dan Lahav, disse: "Acreditamos que uma grande parte das atividades econômicas do futuro virá da interação entre humanos e máquinas e da interação entre IA e IA, o que quebrará os sistemas de segurança existentes em vários aspectos." A empresa, originalmente chamada Pattern Labs, já ocupa uma posição importante no campo de avaliação de IA. Seus resultados foram amplamente citados na avaliação de segurança dos modelos Claude3.7Sonnet e nos modelos o3 e o4-mini da OpenAI. Além disso, o quadro de pontuação para detecção de falhas em modelos desenvolvido pela Irregular também é amplamente utilizado na indústria.
Ainda que a Irregular tenha obtido avanços significativos na avaliação de riscos de modelos existentes, o objetivo desta rodada de financiamento é mais ambicioso: identificar riscos e comportamentos potenciais antes que os modelos entrem em uso prático. Para isso, a Irregular construiu um sistema complexo de ambiente de simulação, que pode realizar testes profundos antes do lançamento do modelo.
O co-fundador Omer Nevo mencionou: "Temos simulações complexas de rede, nas quais a IA atua como atacante e defensor. Assim, quando novos modelos são lançados, podemos observar onde as defesas funcionam e onde falham."
À medida que a indústria de IA aumenta sua atenção aos problemas de segurança, os riscos potenciais trazidos pelos modelos avançados tornam-se cada vez mais evidentes. No verão deste ano, a OpenAI realizou uma revisão completa de suas medidas de segurança internas para prevenir possíveis atividades de espionagem corporativa. Ao mesmo tempo, a capacidade dos modelos de IA em descobrir vulnerabilidades em software está aumentando cada vez mais, impactando profundamente tanto atacantes quanto defensores.
Para os fundadores da Irregular, este é apenas o primeiro desafio entre os riscos de segurança causados pelo aumento contínuo das capacidades dos grandes modelos de linguagem. Lahav disse: "Se os laboratórios avançados têm como objetivo criar modelos cada vez mais complexos e poderosos, nosso objetivo é garantir a segurança desses modelos. No entanto, essa é uma tarefa em constante mudança, portanto, há muito trabalho a ser feito no futuro."
Principais pontos:
🌟 A Irregular conseguiu um financiamento de 80 milhões de dólares, com um valor de mercado de 450 milhões de dólares.
🔒 A empresa se dedica à avaliação dos riscos de segurança dos modelos de IA, especialmente os riscos potenciais dos novos modelos.
⚙️ A Irregular testa a capacidade de defesa dos modelos de IA por meio de simulações complexas de rede, visando melhorar a segurança.
