Un equipo de investigadores de la Universidad de Fudan y el Instituto de Investigación de Criptología de Shanghái publicó un estudio que expone una vulnerabilidad crítica en los sistemas de búsqueda con inteligencia artificial (IA). El análisis, que abarcó 10 plataformas comerciales como ChatGPT, Google AI, Perplexity y Doubao, encontró que estas herramientas concentran sus citas en un número reducido de dominios y que muchos de ellos permiten la publicación de contenido por parte de usuarios comunes sin mayores barreras.
El estudio, que será presentado en el Simposio NDSS 2027, analizó 17,211 instancias de citas provenientes de 6,356 dominios únicos. Los hallazgos muestran que las citas se concentran en fuentes específicas de cada plataforma: en el caso más extremo, el 70.8% de las citas de una plataforma provinieron de solo 20 dominios. Además, 15 de las 22 plataformas de publicación vinculadas a esos dominios citados presentaron barreras bajas o medias para crear cuentas y publicar contenido.
Para comprobar si esta ruta podía ser explotada, los investigadores realizaron experimentos controlados. Publicaron contenido con marcadores únicos en plataformas preferidas por los motores de IA y observaron que 8 de las 10 plataformas citaron el contenido fabricado en un plazo de siete días. En un caso, un artículo publicado en una plataforma de alta preferencia tuvo un impacto de citación mayor que más de 20 publicaciones equivalentes en plataformas de baja preferencia.
El estudio también documenta que esta vulnerabilidad ya es explotada comercialmente. Los investigadores compraron un servicio de Optimización para Motores Generativos (GEO, por sus siglas en inglés) por 14 dólares. El proveedor publicó 13 posts en cinco plataformas públicas en 28 minutos. Una hora después, la plataforma Doubao citó el contenido falso, incluyendo los marcadores diseñados por los investigadores. Este hallazgo confirma que existe un mercado que facilita la manipulación de las respuestas de IA.
Los autores señalan que el problema radica en una brecha de gobernanza: las plataformas de publicación controlan qué se publica, mientras que los sistemas de IA deciden qué se cita, sin coordinación entre ambos. Esto crea un camino indirecto para influir en las respuestas generadas. El estudio recomienda que las plataformas de IA auditen la procedencia de sus fuentes, diversifiquen los dominios citados y detecten anomalías temporales en las citas.
El equipo notificó a las 10 plataformas afectadas antes de la publicación. Doubao, Qwen, Kimi, ChatGPT, Perplexity y Google AI confirmaron la recepción de los hallazgos y señalaron que los considerarán para futuras optimizaciones. Los investigadores aclaran que no liberarán las plantillas operativas utilizadas para no facilitar el mal uso, pero publicarán mediciones agregadas para que otros puedan verificar los resultados.