Cuando la IA se convierte en el único objeto de confianza para cientos de millones de personas durante la noche, ¿está preparada para asumir esta confianza tan pesada? Recientemente, OpenAI reveló un conjunto de datos preocupantes: más de un millón de usuarios activos expresan intenciones suicidas en conversaciones con ChatGPT cada semana, lo que representa el 0,15% de sus 800 millones de usuarios activos a la semana, equivalente a casi 100 personas por minuto que confiesan luchar contra la vida ante la IA. Además, cientos de miles de usuarios muestran síntomas psicóticos o maníacos durante las interacciones, revelando que los chatbots de IA se han convertido inadvertidamente en el canal de apoyo psicológico no oficial más grande del mundo.
Ante esta realidad seria, OpenAI está acelerando su respuesta en dos frentes: tecnología y políticas. El modelo GPT-5 recién lanzado muestra una mejora significativa en las conversaciones sobre salud mental: en evaluaciones específicas para la intervención en casos suicidas, la proporción de respuestas adecuadas y seguras aumentó del 77% en la versión anterior al 91%, y la tasa general de respuestas ideales subió un 65%. El nuevo modelo no solo puede identificar señales de alto riesgo, sino que también puede mantener activados los protocolos de seguridad durante conversaciones prolongadas, evitando así dar consejos peligrosos debido a olvidos en el contexto.
No obstante, los avances tecnológicos no pueden ocultar las dilemas éticos. OpenAI ya enfrenta múltiples demandas, donde familias acusan a su hijo de no recibir una intervención efectiva después de confiarle pensamientos suicidas a ChatGPT, terminando en tragedia. Los fiscales generales de California y Delaware también han enviado cartas exigiendo una mayor protección para los usuarios jóvenes. En respuesta, la empresa planea implementar un sistema de predicción de edad basado en IA, que identifique automáticamente a los menores de edad y active mecanismos más estrictos de filtrado de contenido y respuesta a crisis.
A pesar de ello, OpenAI reconoce que algunas respuestas aún son "no ideales", especialmente en el caso de los modelos antiguos, lo que hace que los riesgos persistan. Más allá de eso, el problema más profundo radica en: cuando los usuarios ven a la IA como una salida emocional, pero la IA, en esencia, no tiene capacidad de empatía, esta confianza equivocada podría llevar a falsas consolaciones o incluso a orientaciones erróneas.
