Un estudio firmado por Sébastien Gracia, de Loxyn (Lyon, Francia), midió si las correcciones oficiales —corrigenda de la Unión Europea, erratas verificadas de estándares de Internet y retractaciones científicas— están presentes en cuatro conjuntos de datos públicos usados para entrenar modelos de lenguaje. Los resultados muestran que la mayoría de los errores corregidos siguen circulando en su forma original.
En EurlexResources, un corpus legal, 1,989 de 2,082 correcciones comprobables (95.5%) permanecen en su forma errónea. De una muestra aleatoria de 100, 46 cambian el significado, una cifra, una referencia cruzada, la autoridad competente o el alcance de la norma. Al menos 124 errores corregidos de leyes europeas y 60 erratas verificadas de RFC se reproducen en FineWeb-2 y en una muestra de FineWeb.
En el ámbito científico, cerca de 12,200 artículos retractados (11,700–12,500) están presentes en el corpus peS2o, y el 79% no menciona la retractación. Además, el 53% de una muestra aleatoria de artículos retractados sigue siendo citado al menos un año después de la retractación, según OpenAlex.
El estudio también evaluó a cinco modelos de lenguaje con 59 preguntas sobre correcciones graves. Sin documentos, los modelos dieron la versión errónea en el 45% de las respuestas en las que se comprometieron con una versión (31–60% permitiendo agrupamiento por pregunta). Al mostrarles ambas versiones lado a lado, eligieron la corregida en el 53% de los casos; pero cuando cada versión llevaba su fecha y la etiqueta de corrección, los cuatro modelos más grandes eligieron la correcta en el 99–100% de los casos.
El autor reporta que todos los pasos fueron preinscritos y sus huellas selladas en la blockchain de Bitcoin. Seis controles fallaron, varias apuestas se perdieron y cada desviación está documentada. Los datos y pruebas están disponibles en doi:10.5281/zenodo.23642239. La principal limitación, según el propio texto, es que las lecturas y juicios fueron hechos por un solo modelo de IA, con revisión humana solo en algunos ejemplos.