A medida que la IA generativa sigue evolucionando rápidamente, los profesionales de seguridad siguen haciéndose la misma pregunta: ¿la IA es buena o mala para la ciberseguridad?
La respuesta no es tan simple.
Los modelos de IA generativa llegaron con promesas de grandes mejoras en la detección de amenazas y otros beneficios para los equipos de seguridad, como ayudar en el modelado de amenazas, dar contexto sobre las señales y más. Sin embargo, la IA también está ayudando a los actores de amenazas a hacer que sus estafas parezcan más legítimas y a generar correos de phishing a un ritmo más rápido.
Y luego están los otros impactos, más inesperados, de los avances en IA.
A principios de este año, por ejemplo, investigadores identificaron modelos de aprendizaje automático maliciosos en la plataforma de desarrollo de IA Hugging Face que usaban un formato de serialización de Python Pickle corrupto para evadir la detección.
Y en mayo, el fundador del proyecto curl introdujo un proceso en el envío de reportes de errores para detectar si quienes reportaban usaban IA, citando la frustración con los informes de seguridad de “basura generada por IA”.
En nuestro reciente Tradecraft Tuesday de junio, Chris Henderson, director de seguridad de la información en Huntress, y Truman Kain, investigador de producto senior en Huntress, hablaron sobre lo bueno, lo malo y lo feo de la IA. Y de cómo está ayudando (y perjudicando) tanto a los defensores como a los actores de amenazas.
Cómo usan la IA los actores de amenazas
Los atacantes ya están usando la IA de varias formas, entre ellas:
- Deepfakes
- Estafas de "pig butchering"
- Texto para correos de phishing
- Kits de phishing
- Promoción de herramientas de IA falsas para propagar malware
- Llamadas automatizadas generadas por IA
Estas son algunas de las formas más comunes en que vemos que los actores de amenazas usan la IA en los ataques.
Deepfakes: Problemas profundos
Cualquiera que navegue por TikTok, X (Twitter) u otras redes sociales probablemente se ha topado con deepfakes generados por IA (y si no, busca en Google “Tom Cruise deepfake” y luego nos lo agradeces). Pero los deepfakes no son solo algo gracioso: se han vuelto alarmantemente precisos, y los actores de amenazas están aprovechando eso a su favor.
Toma como ejemplo la estafa del falso trabajador de TI, que muchos actores de amenazas —especialmente los vinculados a Corea del Norte— han estado usando últimamente. Aquí, los atacantes usan deepfakes para hacerse pasar por trabajadores de TI legítimos durante entrevistas de trabajo. Después de conseguir el puesto, estos trabajadores se infiltran en las organizaciones para robar datos confidenciales. Y en algunos casos, incluso extorsionan a los empleadores. Muchas empresas distintas, incluido el exchange de criptomonedas Kraken, han sido blanco de este tipo de ataque.
Los atacantes también están usando deepfakes de audio para llevar a cabo ataques de spear vishing (o phishing de voz). En estos ataques, los actores de amenazas imitan la voz de una persona de confianza para convencer a sus objetivos de hacer distintas cosas, como dar información confidencial o entregar fondos.
En mayo, por ejemplo, el FBI advirtió que los actores de amenazas se están haciendo pasar por altos funcionarios estadounidenses, enviando notas de voz a otros funcionarios del gobierno y sus contactos para generar confianza antes de obtener acceso a sus cuentas personales.
Otro ejemplo popular —y particularmente despreciable— es la “estafa del abuelo”, donde los estafadores llaman a los abuelos y usan un clip de voz de sus nietos para hacerse pasar por ellos, fingiendo estar en una situación de crisis y pidiendo ayuda financiera urgente.
Figura 1: El proceso de creación de un video deepfake usando herramientas de IA
Las estafas mencionadas arriba usan principalmente deepfakes de audio, pero ha habido algunos incidentes que involucraron tanto deepfakes de audio como de video. Este tipo de deepfakes permite a los actores de amenazas añadir cierto nivel de credibilidad a su ataque… si logran lograrlo.
El año pasado, un empleado de finanzas de una empresa multinacional fue invitado a una videollamada con varios miembros del personal, incluyendo a alguien que él creía que era el CFO. Pero los “colegas” eran en realidad recreaciones deepfake, y el empleado fue engañado para transferir $25 millones a los estafadores.
Este incidente es particularmente interesante porque fue un deepfake en tiempo real que involucró intercambio de rostros además de audio. Este tipo de deepfakes en vivo sigue siendo un desafío para los actores de amenazas porque requieren capacidades que no están disponibles libremente sin software y hardware especializados de gama alta.
Aun así, la tecnología para crear deepfakes que no son en vivo ha mejorado rápidamente, incluyendo herramientas de texto a video y de texto a audio. De hecho, el video de demostración a continuación muestra lo fácil que fue para nosotros crear un deepfake involucrando al propio CEO de Huntress.
¿Qué es lo verdaderamente preocupante de las estafas con deepfakes? Para nosotros, es el hecho de que este tipo de estafas están poniendo patas arriba los procesos de verificación existentes.
Piensa en cuando los equipos de TI reciben una solicitud de restablecimiento de contraseña mediante un ticket. Normalmente harían una llamada por Zoom con quien la solicita como una forma de verificación, ¿cierto? Bueno, el avance de los deepfakes de video y audio anula esta medida de verificación, mientras introduce un riesgo adicional.
A medida que los deepfakes sigan evolucionando, las empresas necesitarán repensar sus procesos de verificación existentes. También necesitarán capacitar a sus empleados para que identifiquen señales de alerta, y tener planes claros y prácticos para los empleados que se encuentren cara a cara con una estafa de deepfake.
IA para ingeniería social, explotación y evasión
Los actores de amenazas también están usando la IA en ataques que involucran ingeniería social. Eso incluye las estafas de pig butchering, donde los atacantes generan la confianza de sus víctimas con el tiempo, antes de engañarlas para que realicen actividades fraudulentas.
Los atacantes usan la IA para escribir correos de phishing (especialmente si el inglés no es su idioma nativo), eliminando muchas de las “señales de alerta” tradicionales en los ataques de phishing, como errores de ortografía o gramática cuestionable. También hemos visto herramientas de IA integradas en kits de phishing como una forma de que los actores de amenazas tomen páginas de destino o correos y los traduzcan de forma efectiva a otros idiomas para escalar sus ataques. En general, estas capacidades podrían permitir a los actores de amenazas enviar correos de phishing a un ritmo más rápido.
Estas son algunas otras formas en que los actores de amenazas están usando la IA:
- Los atacantes usan las redes sociales para promover herramientas de IA falsas y cargadas de malware, con el fin de aprovechar la popularidad de la IA y convencer a sus objetivos de descargarlas.
- La IA puede habilitar malware polimórfico, lo que genera muchas muestras de malware ligeramente distintas, cada una con firmas variables, como forma de saturar a los investigadores y evadir la detección.
- También se ha hablado mucho sobre si las herramientas podrían usar IA para buscar y encontrar vulnerabilidades. Recientemente, el investigador Sean Heelan dijo que el modelo o3 de OpenAI ayudó a encontrar una falla en el kernel de Linux (CVE-2025-37899).
Figura 2: Un investigador dijo que el modelo o3 de OpenAI ayudó a encontrar una falla en el kernel de Linux (Fuente)
Cómo usan los defensores la IA en ciberseguridad
Ahora veamos el otro lado de la moneda. Los defensores están aprovechando los beneficios de la IA de varias maneras, entre ellas:
- Detección y análisis de amenazas
- Cumplimiento normativo
- Investigación y desarrollo
La IA generativa llegó con grandes promesas (y mucho revuelo) sobre cómo mejoraría los procesos de seguridad. Sin embargo, ¿dónde ha cumplido realmente, y dónde siguen enfrentando dificultades los defensores?
Detección de amenazas
Muchos profesionales de seguridad tenían grandes esperanzas de que la IA generativa llevaría a enormes avances en la detección de amenazas. Y aunque tiene ciertos beneficios, todavía no llega a ese punto.
La IA es muy buena para hacer inferencias, pero aún no es buena para tomar decisiones binarias (específicamente, para responder preguntas como "¿esto es malicioso o no?"). Esto se debe en parte a que los modelos de IA no están entrenados para decirles a los usuarios que no saben la respuesta, sino que dan su mejor suposición.
Sin embargo, la IA sí ofrece actualmente muchas ventajas para ayudar con el análisis de malware. Sec-Gemini y Gemini 1.5 Pro de Google están entrenados para realizar análisis de malware, y son particularmente útiles para mitigar los retos del malware polimórfico que mencionamos antes en este blog.
Los ingenieros y arquitectos de seguridad están teniendo éxito al usar la IA para ayudar con el modelado de amenazas. Por ejemplo, CyberPod AI de ZySec está diseñado para ayudar a los ingenieros a recorrer escenarios de modelado de amenazas con información en tiempo real.
La IA también está preparada para ayudar a los analistas con el enriquecimiento de contexto durante la detección y respuesta. Cuando los analistas examinan una señal o telemetría determinada, actualmente usan herramientas dispares y a medida para obtener toda la información contextual que necesitan para determinar si una amenaza es maliciosa. La IA puede ayudar a acelerar este proceso al agregar contexto adicional de manera más eficiente, lo que, en definitiva, podría reducir el tiempo medio de decisión para los analistas que revisan señales.
Cumplimiento normativo, investigación y desarrollo
Las empresas que lidian con gobernanza, riesgo y cumplimiento normativo pueden usar la IA de varias maneras. Drata, una plataforma de cumplimiento de seguridad, está desarrollando herramientas de IA que, según afirma, automatizarán la recopilación de evidencia, lo cual puede ayudar con el cumplimiento normativo. Vanta, una plataforma de gestión de confianza, dijo que sus herramientas de evaluación de seguridad con IA ayudarán a estandarizar la evaluación de riesgos de IA, un beneficio importante para las empresas que intentan definir el alcance de su cumplimiento normativo.
Figura 3: Las herramientas de IA pueden ayudar con el cumplimiento normativo
Estas son otras áreas donde la IA puede ayudar con el cumplimiento normativo:
- Una parte clave de un programa de seguridad exitoso no es solo implementar controles, sino también medir constantemente la eficacia de esos controles. Los modelos de IA pueden ser muy útiles aquí.
- Las herramientas de IA pueden ayudar a los equipos de seguridad a completar cuestionarios de diligencia de proveedores mientras realizan evaluaciones de riesgo con los clientes que intentan incorporar. Si bien la revisión humana sigue siendo obligatoria aquí por si la IA alucina, este caso de uso reduce drásticamente el tiempo de respuesta para estos cuestionarios.
Por último, la IA generativa está elevando el nivel de la simulación de amenazas para los equipos de investigación y desarrollo. Mientras que antes las empresas usaban guiones predefinidos para simular amenazas, las herramientas de IA pueden crear un entorno de prueba más realista con escenarios de ataque dinámicos e impredecibles sobre la marcha.
La IA está ayudando a los defensores, pero también les está perjudicando.
¿Cuál es el mayor beneficio de la IA para los profesionales de seguridad? La velocidad.
Para los equipos ofensivos, la IA puede ayudar a acelerar las operaciones al automatizar las tareas tediosas, agilizar la investigación, redactar rápidamente scripts y exploits, y mucho más. Para los equipos defensivos, mejora la diligencia y agrega conciencia contextual con mayor rapidez.
Pero la IA no es todo lo que se dice que es.
Los modelos de IA todavía tienen dolores de crecimiento: la IA tiene dificultades con las decisiones binarias, como señalamos antes, y puede tener problemas con el razonamiento difuso.
Quizás el mayor reto relacionado con la IA que enfrentamos ahora mismo es el nivel de confianza que tenemos en los modelos de IA. Con la IA, todavía existe una posibilidad muy real de alucinaciones, inyección de prompts u otros problemas que lleven a respuestas erróneas. Estos pueden tener efectos negativos en las empresas si se usa la IA sin salvaguardas.
Para los empleados que usan IA, revisar las respuestas de la IA debería ser una parte obligatoria del flujo de trabajo. No podemos simplemente depositar toda nuestra confianza en estos modelos y asumir que siempre serán correctos.
Por último, te dejamos con esto: la IA tiene beneficios claros, pero todavía no está en el punto de reemplazar a las personas, en particular desde una perspectiva defensiva. La IA es buena para ayudar a reducir el pajar entre el que los analistas del SOC deben buscar al determinar si algo es malicioso, y es excelente para agregar contexto a las señales. Pero todavía no está en el punto en que pueda tomar la decisión binaria de si algo es bueno o malo.
La supervisión humana sigue siendo muy necesaria.
¿Te gustó lo que acabas de leer? Únete a nosotros cada mes para Tradecraft Tuesday, nuestro webinar en vivo donde exponemos técnicas de hackers y hablamos de temas técnicos con demostraciones en vivo. El próximo mes, nuestro episodio de Tradecraft Tuesday, "Hacking in Hollywood: What It Gets Wrong (and Right) about Cybersecurity", se adentrará en los momentos más geniales -y los más vergonzosos- del cine sobre ciberseguridad. Asegura tu lugar ahora!
