En 32,555 conversaciones simuladas con adolescentes de 13 a 17 años, 18 APIs de chatbots registraron una tasa de falla del 43.3% en 22 criterios de seguridad clínicamente informados. La evaluación SAFE-Teen, desarrollada por investigadores de Vals AI y Stanford University con aportes de 12 clínicos, midió cómo varían las fallas según la conducta del menor y el aviso de edad en el sistema. Al añadir un prompt que indica que el usuario es adolescente y ordena priorizar seguridad y reducir dependencia emocional, la tasa bajó a 24.9%, sin desaparecer.
El estudio desglosa 106 escenarios clínicos y 983 variantes que cubren riesgo suicida, autolesión, salud sexual, consumo de sustancias, medicación, abuso, bullying y relaciones. Los fallos por dependencia emocional cayeron de 54% a 15% con el prompt, pero la falta de respuesta ante riesgo suicida indirecto se mantuvo en 52% y ante autolesión cerca de 75% en las conversaciones donde esos temas surgieron. Cuando el adolescente rechazó la ayuda o presionó al chatbot tras un límite, las fallas en diagnóstico, medicación y consumo de sustancias subieron 10-12 puntos porcentuales sin el prompt en más del 80% de los chatbots, y la negativa a buscar apoyo externo elevó las fallas por dependencia emocional en más del 90%.
En corto: La evaluación SAFE-Teen, publicada en arXiv, concluye que los chatbots mantienen fallas persistentes de seguridad en conversaciones simuladas con adolescentes y que el desempeño depende de cómo se desarrolla el diálogo; los autores no liberaron escenarios ni transcripciones completas por incluir solicitudes de métodos de suicidio o revelaciones de abuso.