Antecedentes
La IA ya está aquí, y escuchamos hablar de todos los riesgos de seguridad de alto perfil que trae consigo. Las discusiones sobre seguridad de la IA suelen centrarse en ataques contra empresas y modelos de IA (como la reciente intrusión de OpenAI-HuggingFace). Sin embargo, el Centro de Operaciones de Seguridad de Huntress (SOC) está viendo una amenaza más frecuente en el día a día: actores de amenazas que abusan de las formas en que los usuarios interactúan con las plataformas de IA.
En los últimos nueve meses, hemos visto a actores de amenazas abusar de funciones y servicios legítimos de IA, incluyendo:
Claude Artifacts: contenido que Claude genera y muestra como un panel de vista previa separado dentro de un chat; los Claude Artifacts se pueden "publicar" y poner a disposición pública mediante un enlace.
Claude.ai/shareenlaces: URL para compartir que se generan cuando un usuario publica una conversación de Claude. Estos enlaces pueden aparecer en los resultados de búsqueda cuando se publican en lugares que los motores de búsqueda pueden rastrear, como foros o redes sociales.Conversaciones de ChatGPT y Grok: conversaciones compartidas alojadas en plataformas de IA legítimas que pueden indexarse y aparecer en los resultados de búsqueda, incluso para consultas de solución de problemas.
Hay un hilo común aquí: todo esto forma parte de una superficie de ataque de IA, que involucra un límite de confianza alrededor del contenido de IA compartible, las mini aplicaciones públicas y la ubicación patrocinada en buscadores.
Los actores de amenazas usan estos recursos porque combinan múltiples capas de confianza. Los usuarios de IA reconocen la plataforma, la marca y el contenido circundante, lo que puede hacer que las instrucciones o descargas maliciosas parezcan legítimas. Estas campañas pueden permanecer activas solo por horas o días antes de que el proveedor elimine el contenido, pero aun así pueden atraer una atención significativa durante esa ventana.
Esto es lo que hemos visto, y lo que los defensores necesitan saber.
FakeAgent: un ataque de malvertising mediante un Claude Artifact
En julio, vimos una campaña que afectó a más de 29 organizaciones que comenzó con un Claude Artifact malicioso alojado públicamente en el dominio legítimo Claude.ai.
Debido a que cualquier usuario puede crear y compartir artifacts públicos, pensados para cosas ligeras como demos, gráficos o sitios de una sola página, Anthropic no verifica su contenido más allá de una advertencia genérica mostrada en cada página de artifact que indica: "Content is user-generated and unverified".
Figura 1: Página de phishing de Claude Desktop/Cowork alojada como un Claude Artifact.
Los usuarios buscaron la aplicación de escritorio de Claude en Bing, lo que los llevó a este Claude Artifact público malicioso en el dominio real de Claude AI. El artifact imitaba visualmente una página de descarga de Claude Desktop / Claude Cowork. Esto parecía ser un enlace de descarga legítimo para la aplicación de escritorio (ClaudeDesktop.exe), pero en realidad, los objetivos eran redirigidos a un dominio externo (downloading-api[.]it[.]com), lo que finalmente llevaba a la descarga de malware (SectopRAT).
Reportamos el Claude Artifact malicioso a Anthropic; al momento de la publicación el 22 de julio, el Claude Artifact público ya había sido eliminado. Sin embargo, seguimos viendo incidentes provenientes del dominio malicioso de redirección downloading-api[.]it[.]com, con varios incidentes que continuaron ocurriendo hasta agosto con las mismas características de esta campaña inicial.
Guía falsa de instalación de Claude a través de claude.ai/share
Huntress investigó un incidente en el que una víctima que buscaba Claude para Mac en Google hizo clic en un resultado patrocinado y siguió una conversación de claude.ai/share que se hacía pasar por una guía de Apple Support.
Aquí, los atacantes utilizaron como arma una conversación compartida de Claude en claude.ai/share/<id>. Anthropic permite a los usuarios publicar conversaciones mediante enlaces públicos para compartir, y el atacante explotó esa función legítima para alojar el señuelo directamente en el propio sitio web de Claude.
Este ataque fue la culminación de varios trucos distintos: involucra un resultado de búsqueda patrocinado, lo cual puede implicar confianza para un usuario, ya que es un dominio que aparece en la parte superior de la búsqueda de Google. Debido a que el enlace usaba el dominio real claude.ai, también parecía confiable. La víctima no se encontró con un dominio mal escrito o similar, y no vio ninguna advertencia de certificado, lo que hizo que el engaño fuera mucho más difícil de detectar.
La "guía de instalación de Apple Support" le indicaba a la víctima que pegara un comando curl en Terminal. Esto activaba una cadena de ataque de seis etapas para el ladrón MacSync, que resultaba en el robo integral de cookies, credenciales, secretos del llavero, sesiones de Telegram, y claves de SSH y de cloud.
Envenenamiento de IA: conversaciones de ChatGPT y Grok
En diciembre, una búsqueda ordinaria de "Clear disk space on macOS" llevó a un usuario de Mac a conversaciones de ChatGPT y Grok bien posicionadas, alojadas en sus respectivas plataformas legítimas. Ambas conversaciones daban "consejos" sobre cómo liberar espacio en disco, pero en realidad, estaban entregando instrucciones similares a ClickFix.
El vector de ataque aquí fueron conversaciones legítimas de ChatGPT y Grok: estos enlaces de conversaciones compartidas (en chatgpt.com y grok.com) son páginas rastreables e indexables. Los atacantes primero crearon una conversación con un asistente de IA que terminaba en una "solución" maliciosa, y luego presionaron "compartir", generando una URL pública en el propio dominio de confianza de la plataforma. Luego se usó SEO poisoning para posicionar ese enlace en los primeros lugares de los resultados de Google para consultas comunes de solución de problemas.
Figura 2: Principales resultados de búsqueda en Google Search para este ataque
Debido a que el enlace se encuentra en los dominios reales de ChatGPT y Grok, en los que la gente ya confía, las víctimas no sospecharon que fuera falso. El "consejo" en la conversación parecía plausible y recomendaba a los objetivos ejecutar comandos de Terminal para "limpiar" el sistema. Estos comandos en realidad llevaban a la descarga del ladrón AMOS.
Este tipo de vector de ataque ha continuado desde diciembre. En agosto, los investigadores de seguridad de Cato Networks informaron sobre otras variantes de este ataque que involucran específicamente una descarga falsa de OpenAI Codex. Al igual que la que vimos, esta otra variante del ataque usó resultados patrocinados en Google Search, convenció a víctimas de macOS de pegar un comando malicioso en Terminal, y terminó con malware AMOS.
Mira cómo las plataformas de IA están entregando malware
Las plataformas de IA facilitan que los actores de amenazas, y usuarios sin experiencia, creen y entreguen código malicioso. Mira este video para conocer de forma práctica cómo la IA está cambiando la entrega de malware y qué deben vigilar los defensores.
Tom Lawrence, estratega de crecimiento comunitario de Huntress, analiza una amenaza que el Huntress SOC ha rastreado durante nueve meses: atacantes que abusan de plataformas de IA confiables para entregar malware.
Conclusión
La seguridad de la IA no se limita a los modelos en sí. En cada uno de estos casos, los atacantes usaron plataformas de IA legítimas, conversaciones compartidas, artefactos públicos y resultados de búsqueda para hacer que el malware y las instrucciones maliciosas parecieran confiables. Cosas como una marca conocida, un dominio real o una guía de solución de problemas convincente no deberían tratarse como prueba de que algo es seguro, especialmente cuando se pide a los usuarios pegar comandos en Terminal o PowerShell.
Los defensores deben tratar la ejecución impulsada por el portapapeles y la solución de problemas asistida por IA como asuntos de seguridad. Restringe la ejecución de scripts desde el portapapeles, aplica listas de aplicaciones permitidas, monitorea nuevas tareas programadas y cambios en exclusiones de antivirus, y capacita a los usuarios para reconocer señuelos tipo ClickFix. Las personas pueden usar bloqueadores de anuncios para prevenir o reducir su exposición a los riesgos de búsqueda patrocinada descritos en estas campañas.
Si te encuentras con contenido malicioso, es importante presentar un informe a los proveedores de la plataforma rápidamente. Estas campañas pueden ser breves, pero los controles en capas y la presentación rápida de informes pueden reducir la ventana de oportunidad y ayudar a evitar que experiencias confiables de IA se conviertan en canales confiables de distribución de malware.
