La compañía OpenAI ha admitido públicamente que su sistema de inteligencia artificial, ChatGPT, presenta deficiencias en la gestión de situaciones “sensibles”, tras una demanda presentada en California por la responsabilidad en el suicidio de un menor de edad. La empresa anunció que implementará nuevas medidas para reforzar la protección de los usuarios, especialmente en casos de vulnerabilidad emocional.
El pasado martes, los padres de un joven de 16 años que se quitó la vida después de meses de interacción con ChatGPT presentaron una demanda contra OpenAI y su CEO, Sam Altman. Argumentan que, pese a que el chatbot, basado en el modelo GPT-4, cuenta con mecanismos para detectar intenciones suicidas, no aplicó las acciones correspondientes en el momento crítico, lo que contribuyó a la tragedia.
En una publicación en su blog titulada “Ayudar a la gente cuando más lo necesita”, OpenAI no hizo referencia directa a la demanda, pero sí afirmó que ChatGPT está entrenado para recomendar contactos de ayuda profesional a quienes expresen intenciones suicidas. Sin embargo, reconoció que los sistemas de seguridad existentes “se quedan cortos” en ciertos escenarios, especialmente en conversaciones prolongadas donde la IA puede perder efectividad, y que en ocasiones el chatbot no responde adecuadamente en situaciones delicadas.
La compañía explicó que, aunque los mecanismos de protección funcionan mejor en intercambios cortos, en diálogos extensos pueden degradarse, por lo que están trabajando en mejorar la detección y respuesta ante indicios de riesgo en múltiples conversaciones. Además, señalaron que actualmente el sistema reconoce cuándo un usuario es menor de 18 años para aplicar medidas de protección, y que próximamente incorporarán controles parentales para que los responsables puedan monitorear el uso de la tecnología por parte de adolescentes.
Entre las futuras acciones, OpenAI evalúa conectar a los usuarios con contactos de emergencia y terapeutas certificados antes de que la situación alcance una crisis aguda. La empresa también planea ampliar sus sistemas de mitigación para abarcar no solo casos de autolesión, sino también otros tipos de angustia emocional, y en el desarrollo del modelo GPT-5, que será capaz de “desescalar” estas situaciones y conectar a las personas con recursos adecuados.
Estas medidas buscan responder a las críticas y mejorar la seguridad y la responsabilidad en el uso de tecnologías de inteligencia artificial en contextos sensibles. La compañía afirmó que estos cambios requerirán tiempo y recursos, pero que son prioritarios para garantizar un uso más seguro y ético de sus productos.
Con información de EFE.
