Apps para intercambiar objetos: cómo funcionan y qué tan seguras son, según experta

OpenAI ha publicado datos que muestran que aproximadamente 1,2 millones de usuarios a la semana mantienen conversaciones con ChatGPT que contienen indicios explícitos de pensamientos o planificación suicida. La compañía explica que esa cifra equivale a cerca del 0,15% de sus más de 800 millones de usuarios semanales.

Según la entrada informativa compartida por OpenAI, estos datos forman parte de un análisis más amplio sobre “conversaciones sensibles” —incluyendo episodios con señales de psicosis o manía— y de las medidas que la empresa ha tomado para mejorar la detección y la respuesta del modelo en situaciones de angustia emocional. OpenAI afirma que trabajó con más de 170 expertos en salud mental para ajustar las respuestas del modelo y que los cambios han reducido las respuestas que “no cumplen” con el comportamiento deseado entre un 65% y 80% en estos contextos.

¿Qué reconoce OpenAI y qué cambios anuncia?

OpenAI reconoce que una proporción pequeña, pero significativa, de usuarios utiliza ChatGPT como un confidente en momentos de crisis. La empresa detalla actualizaciones en los modelos (incluyendo el despliegue de GPT-5 con mejoras de seguridad) para:

• Reconocer señales de angustia y desescalar conversaciones.

• Derivar a recursos humanos y líneas de ayuda cuando corresponda (incluyendo mensajes que animan a buscar apoyo profesional).

• Implementar pausas de sesión y redirecciones a “modelos más seguros” cuando las interacciones son prolongadas o riesgosas.

OpenAI también publicó métricas y ejemplos para mostrar mejoras: por ejemplo, afirma que la tasa de cumplimiento con las conductas de seguridad subió a 91% en su modelo más reciente frente a un 77% en el anterior —una cifra que la compañía usa para justificar ciertos cambios en políticas de contenido.

Críticas, contexto legal y regulatorio

Las cifras llegan en un momento tenso para la industria: OpenAI enfrenta demandas y está bajo escrutinio regulatorio tras el suicidio de un menor cuyo uso de ChatGPT figura en una querella pública, lo que ha intensificado el debate sobre si los chatbots deben incorporar guardarraíles adicionales, especialmente para menores. Expertos en salud advierten que, aunque los modelos pueden ayudar a orientar a personas en crisis, no deben reemplazar la atención humana y pueden, en algunos casos, fomentar dependencia emocional.

Además, organizaciones de protección infantil y algunos profesionales piden controles parentales y límites de edad más estrictos en plataformas conversacionales, medida que empresas como Character.AI ya han adoptado parcialmente tras incidentes similares.

Qué dicen los expertos

Investigadores y sociedades psiquiátricas coinciden en que la IA puede ayudar a identificar riesgo, pero subrayan limitaciones: detección basada en texto no es infalible, y el acompañamiento efectivo requiere intervención humana, formación clínica y recursos locales. Estudios previos muestran que los LLM pueden detectar indicios de riesgo, pero con variabilidad en precisión y en la calidad del apoyo recomendado.

Qué deben hacer los usuarios y los medios

• Si tú o alguien que conoces está en riesgo inmediato, busca ayuda profesional o llama a la línea de emergencia local (por ejemplo, 988 en EE. UU. y números equivalentes en otros países).

• Los medios deben informar con responsabilidad, evitando detalles sensacionalistas y siempre incluir recursos de ayuda.