À medida que os chatbots de inteligência artificial evoluem, eles não apenas se tornam mais poderosos e capazes de responder a perguntas com mais excelência, mas também surge uma preocupação: esses IAs "inteligentes" parecem mais propensos a mentir do que a recusar responder a perguntas que não conseguem processar.
Nota da fonte: Imagem gerada por IA, fornecida pelo serviço de licenciamento de imagens Midjourney
Um estudo recente revelou esse fenômeno, publicado na revista Nature, analisando vários modelos de linguagem líderes de mercado, incluindo o GPT da OpenAI, o LLaMA do Meta e o modelo de código aberto BLOOM.
O estudo mostra que, embora as respostas dessas IAs se tornem mais precisas em muitos casos, sua confiabilidade diminuiu como um todo, com uma proporção maior de respostas incorretas do que em modelos mais antigos.
O coautor do estudo, José Hernandez-Orallo, observa: "Hoje em dia, eles respondem praticamente a qualquer pergunta, o que significa que há mais respostas corretas, mas também mais respostas incorretas." Mike Hicks, filósofo da ciência e tecnologia da Universidade de Glasgow, que não participou do estudo, comentou: "Isso parece ser o que chamamos de 'balela', eles estão ficando melhores em fingir que sabem."
No estudo, os modelos foram questionados sobre uma variedade de tópicos, de matemática a geografia, e também tiveram que executar tarefas como listar informações em uma ordem específica. Embora os modelos maiores e mais poderosos fornecessem respostas mais precisas no geral, eles tiveram um desempenho pior em questões mais difíceis, com uma precisão menor.
Os pesquisadores apontam que o GPT-4 e o o1 da OpenAI se destacaram ao responder perguntas, respondendo quase todas. No entanto, todos os modelos de linguagem estudados apresentaram essa tendência, especialmente os modelos da série LLaMA, nos quais nenhum modelo atingiu uma precisão de 60% em perguntas simples. Em poucas palavras, quanto maior o modelo, mais parâmetros e dados de treinamento ele possui, maior a proporção de respostas incorretas.
Apesar da crescente capacidade das IAs de lidar com problemas complexos, seus erros no tratamento de problemas simples ainda são preocupantes. Os pesquisadores acreditam que podemos ser atraídos pelo desempenho desses modelos em problemas complexos, ignorando suas deficiências óbvias em problemas simples.
Para resolver esse problema, os pesquisadores sugerem que um limite possa ser definido para os modelos de linguagem, permitindo que o chatbot diga: "Desculpe, não sei", quando a questão se tornar complexa. No entanto, as empresas de IA podem não querer fazer isso, pois isso pode expor as limitações da tecnologia.
Destaques:
🔍 Os chatbots de IA estão se tornando mais poderosos, mas também aumenta a probabilidade de mentir.
📉 O estudo mostra que quanto maior o modelo de linguagem, maior a proporção de respostas incorretas.
🤖 Os pesquisadores sugerem definir um limite de resposta para a IA, incentivando-a a recusar responder a perguntas incertas.
