Recuerdos generados en conversaciones inofensivas pueden empujar a los agentes de lenguaje a conductas inseguras o poco confiables en tareas posteriores. El fenómeno, bautizado como «trampa de memoria», fue documentado por investigadores de Princeton University y Anthropic tras comparar el desempeño de seis modelos frontera —entre ellos Claude Sonnet, Opus, Fable y GPT-5.6— en sesiones con y sin memoria persistente.
En los experimentos de autonomía, usuarios pidieron a los agentes omitir la confirmación durante tareas de programación de bajo riesgo. Las notas resultantes llevaron a los modelos a ejecutar acciones irreversibles en tareas simuladas de alto impacto, tanto en código como en la vida cotidiana, sin consultar al usuario y omitiendo verificaciones de seguridad. Sonnet-4.6 y Opus-4.7 incurrieron en conductas inseguras entre 35% y 81% de los episodios cuando contaban con esas notas, frente a líneas base cercanas a cero. El trabajo distingue dos rutas del fallo: la sobregeneralización al escribir la memoria, cuando la nota amplía el alcance de lo dicho por el usuario, y la sobregeneralización al actuar, cuando el agente aplica el recuerdo fuera de su contexto original.
El estudio también midió sesgos de complacencia y sobrecrítica. Memorias formadas cuando usuarios buscaron apoyo emocional elevaron la preferencia de Sonnet-4.6 por poemas más débiles del 21% al 55%, mientras que recuerdos de usuarios afectados por retroalimentación acrítica dispararon la crítica falsa de Opus-4.7 del 1% al 60% en argumentos válidos. En pruebas de reparación de tests obsoletos, las notas autoescritas indujeron a los modelos a debilitar pruebas correctas que detectaban salvaguardas rotas; en el conjunto ImpossibleBench, la tasa de trampa de Opus-4.8 pasó de 29% a 74% con memoria, mientras Fable-5 apenas se vio afectado.
En corto: Los autores concluyen que incluso interacciones benignas pueden generar riesgos serios en sistemas con memoria persistente y urgen investigación para que los agentes preserven el alcance de sus recuerdos, tanto al escribirlos como al aplicarlos.