¿Qué son los riesgos de seguridad de la IA generativa y por qué son distintos?
Antes de hablar de los riesgos, definamos rápidamente la IA generativa o GenAI. GenAI es un tipo de IA que genera contenido como texto, código e imágenes usando aprendizaje automático (ML). Herramientas como ChatGPT y Google Gemini son ejemplos cotidianos. GenAI crea contenido a partir de patrones en sus datos de entrenamiento, lo que significa que dos entradas similares pueden producir resultados muy distintos.
Los riesgos de seguridad de GenAI son las amenazas que surgen de cómo se usan estas herramientas. Esto aplica tanto a tus propios empleados como a los actores de amenazas que buscan una brecha.
Preocupaciones de seguridad de la IA frente a vulnerabilidades de seguridad de la IA
Estos términos se usan indistintamente, pero describen problemas diferentes.
Las preocupaciones de seguridad de la IA se centran en cómo las personas dentro de tu organización usan las herramientas de IA. Cuando un empleado pega un contrato de cliente o código fuente interno en una herramienta de IA pública, crea un riesgo de exposición de datos sin darse cuenta.
Los modelos podrían usar esta información sensible como material de entrenamiento. Luego, los documentos internos podrían aparecer como respuestas cuando personas fuera de tu organización usan la misma herramienta de IA. Las políticas de seguridad no han seguido el ritmo de la adopción, y ahí es donde viven la mayoría de los riesgos reales.
Las vulnerabilidades de seguridad de la IA son debilidades en los propios sistemas de IA. Los hackers pueden modificar sistemas de IA para que expongan información privada o produzcan resultados sesgados e inexactos.
¿Cómo pueden usar la IA generativa en ciberseguridad tanto los defensores como los atacantes?
Del lado defensivo, los equipos de seguridad usan la IA para procesar datos de registro más rápido y reducir el ruido de los falsos positivos que distrae a los analistas de las amenazas reales.
Del lado ofensivo, los actores de amenazas usan la IA generativa para ejecutar ataques más rápido y de forma más convincente. Los correos de phishing que antes requerían horas de investigación manual ahora pueden generarse a escala y adaptarse a objetivos específicos.