el envenenamiento de datos de IA es la corrupción deliberada de datos de entrenamiento, ajuste fino o recuperación para alterar el comportamiento de un modelo. En lugar de atacar el modelo de IA en sí, los atacantes van tras la información de la que depende el modelo.

El objetivo varía. Algunos ataques de envenenamiento de datos de IA están diseñados para degradar la precisión general del modelo. Otros son más sutiles, como ocultar puertas traseras que se activan solo cuando el modelo recibe una entrada particular. En cualquier caso, estos modelos alterados pueden comportarse como se espera en condiciones normales de prueba, lo que dificulta su detección.

Los ataques de envenenamiento de IA pueden adoptar diferentes formas según su objetivo dentro del pipeline de IA.

El envenenamiento de datos durante el entrenamiento manipula el conjunto de datos de entrenamiento antes del entrenamiento del modelo. Los atacantes agregan ejemplos adversariales que alteran el comportamiento de generalización del modelo, por lo general de una manera que pasa desapercibida en las evaluaciones de referencia.

El envenenamiento del ajuste fino apunta a la capa de personalización. Si una organización ajusta un modelo base con datos internos, un atacante que pueda influir en ese conjunto de datos obtiene una ventaja considerable sobre el comportamiento del modelo resultante.

El envenenamiento de la generación aumentada por recuperación (RAG) y de bases de conocimiento es cada vez más relevante a medida que las empresas construyen herramientas de IA sobre repositorios de documentos, wikis y bases de conocimiento. Inyectar un documento envenenado en ese corpus puede manipular lo que la IA muestra en respuesta a consultas específicas.

Los ataques de puerta trasera están entre las variantes más peligrosas de un ataque de envenenamiento de IA. El modelo se comporta con normalidad durante las pruebas y en la mayoría de los usos reales, pero genera respuestas específicas controladas por el atacante cuando se activa con un patrón de entrada particular. Huntress documentó recientemente este patrón en el mundo real con una intrusión impulsada por ClickFix, donde el cargador Potemkin y el RAT RMMProject establecieron persistencia de forma silenciosa y solo activaron el comportamiento controlado por el atacante una vez que se ejecutaron comandos específicos. 

El envenenamiento de contexto es una variante emergente en la que se introduce contenido malicioso a través de fuentes externas, como datos extraídos de la web, entradas de usuarios o integraciones de terceros, y manipula el razonamiento en contexto del modelo sin tocar los datos de entrenamiento subyacentes.

Mira cómo los atacantes están usando ChatGPT con un recorrido a cargo del investigador de seguridad ofensiva Truman Kain.

Los efectos de un ataque de envenenamiento de datos de IA exitoso se propagan hacia afuera:

• Precisión degradada: Los usuarios confían menos en los puntajes, etiquetas o resúmenes de IA cuando se degradan de maneras predecibles o impredecibles. 

• Integridad comprometida de los resultados: Los procesos que dependen de los resultados de la IA sufren corrupción desde la cadena de herramientas.

• Distorsión de decisiones empresariales: Las empresas que usan IA para actividades como la clasificación de seguridad, la gestión de riesgo de proveedores o la calificación de comportamientos de riesgo pueden tomar decisiones basadas en resultados envenenados.

• Erosión de la confianza del usuario: Los equipos pierden la confianza en los procesos impulsados por IA cuando saben o sospechan que el resultado está sesgado o es incorrecto.

La detección es la parte difícil. Un modelo envenenado suele parecer funcional. Las salidas erróneas pueden descartarse como alucinaciones comunes.

Las organizaciones deben estar atentas a:

• Variaciones inesperadas en la calidad o el comportamiento de las salidas del modelo ante consultas similares

• Recomendaciones inconsistentes de la IA al compararlas con fuentes externas validadas

• Patrones inesperados en las fuentes de datos que usa la IA

• Variaciones respecto a los puntos de referencia conocidos como válidos en las salidas de la IA

No existe una solución mágica para evitar el envenenamiento de datos de IA, pero implementar una estrategia de defensa en profundidad puede reducir la exposición de forma significativa.

Rastrea las fuentes de datos y sus cambios

Mantén controles sobre la procedencia de los datos para que cada registro agregado a un conjunto de entrenamiento o base de conocimiento pueda rastrearse hasta su origen. Cualquier cambio en las fuentes de datos debe ser auditable. 

Valida las salidas con referencias confiables

Cuando sea posible, y especialmente en el triaje de seguridad, la generación de informes de cumplimiento y las decisiones financieras, verifica los resultados de la IA con una fuente de datos externa y confiable. Acepta las salidas generadas por IA solo si se pueden verificar.

Restringe qué datos pueden ingerir los sistemas de IA

Reduce la superficie de ataque controlando qué fuentes de datos pueden usarse para entrenar conjuntos de datos, corpus RAG o ajustar modelos. Los datos de terceros y las entradas proporcionadas por los usuarios conllevan el mayor riesgo y requieren el mayor escrutinio.

Supervisa el comportamiento inusual de la IA y su impacto posterior

Trata a los sistemas de IA como a cualquier otra aplicación: registra el comportamiento, rastrea anomalías y genera alertas ante desviaciones significativas.

Capacita a los usuarios sobre los riesgos del envenenamiento de IA

La mayoría de los programas de concientización en seguridad comenzaron enfocados en phishing e ingeniería social. La capacitación moderna también debería explicar cómo detectar contenido generado por IA que sea potencialmente envenenado o engañoso, qué hacer cuando los resultados no parecen correctos y por qué las salidas deben tratarse con un sano escepticismo. Soluciones como Huntress Managed Security Awareness Training (Managed SAT) ya usan inteligencia de amenazas del mundo real, contenido narrativo y simulaciones para cambiar el comportamiento de los usuarios mientras usan herramientas de IA.

Estos son algunos ejemplos de escenarios de ataques de envenenamiento de IA que se han documentado públicamente:

Documentos envenenados en una base de conocimiento

Investigaciones documentadas públicamente muestran que los atacantes pueden envenenar asistentes empresariales basados en RAG al insertar documentos maliciosos en la base de conocimiento, lo que hace que el sistema recupere instrucciones controladas por el atacante o información errónea en las respuestas.

Datos de ajuste fino manipulados

En un ataque de puerta trasera, un modelo puede entrenarse con una pequeña cantidad de ejemplos maliciosos que usan etiquetas limpias, y aun así comportarse con normalidad en la mayoría de las entradas mientras responde a un desencadenante oculto.

Contenido malicioso a través de fuentes de datos externas

Cuando los modelos se entrenan con datos extraídos de la web o conjuntos de datos públicos, el contenido envenenado o coordinado puede influir en las salidas posteriores, como se vio en casos públicos como Microsoft Tay y en advertencias más amplias sobre la contaminación de datos a escala web.

Una IA reforzada es solo una parte del panorama. Aún necesitas detectar la actividad real que sigue a una vulneración exitosa.

Huntress da a los equipos de seguridad mayor conciencia situacional en todos sus entornos, incluyendo los flujos de trabajo relacionados con IA, donde la actividad maliciosa puede pasarse por alto con facilidad. Solicita una demo de la plataforma de Huntress y mira cómo podemos ayudarte a proteger tu entorno.