No exactamente, aunque están relacionados. El jailbreaking generalmente se refiere a intentos directos de evadir los filtros de seguridad de una IA mediante prompts redactados ingeniosamente. La inyección de prompts es un término más amplio que incluye ataques indirectos, donde las instrucciones maliciosas se ocultan en contenido externo que la IA procesa, y a menudo tiene una intención más claramente maliciosa, como robo de datos o acciones no autorizadas.

Sí. Si un sistema de IA tiene acceso a datos sensibles, como correos, registros de clientes o documentos internos, un ataque de inyección de prompts exitoso puede instruir a la IA para que comparta esos datos con un atacante. Esto lo convierte en una amenaza real de exfiltración de datos, no solo una molestia.

Un ejemplo bien documentado involucra herramientas de IA con capacidad de navegación web. Un atacante incrusta instrucciones ocultas en una página web pública. Cuando un agente de IA navega esa página como parte de la solicitud de un usuario, lee y sigue esas instrucciones ocultas, lo que podría filtrar información o realizar acciones no autorizadas, sin que el usuario se dé cuenta de lo que ocurrió.

A medida que las herramientas de IA se implementan más ampliamente, los intentos de inyección de prompts se vuelven más frecuentes. OWASP lo clasifica como el riesgo de seguridad #1 para las aplicaciones LLM, lo que indica que la comunidad de seguridad considera esta una amenaza significativa y creciente, no teórica.

Ambos ataques involucran inyectar instrucciones maliciosas en un sistema a través de la entrada del usuario. La inyección SQL ataca bases de datos insertando comandos de base de datos maliciosos. La inyección de prompts ataca modelos de lenguaje de IA insertando instrucciones maliciosas en lenguaje natural. El concepto subyacente es similar (explotar la forma en que un sistema procesa la entrada), pero los mecanismos técnicos y los objetivos son diferentes.

La mayoría de las herramientas de seguridad tradicionales no están diseñadas para detectar inyección de prompts porque el ataque está incrustado en lenguaje natural, no en código o tráfico de red. Las organizaciones necesitan monitoreo específico para IA, análisis de comportamiento y filtrado de salidas para detectar estos ataques. Esta es un área de desarrollo activo en la industria de la seguridad.

Desconecta la herramienta de IA de los sistemas sensibles de inmediato, revisa los registros de acceso en busca de actividad inusual, audita cualquier resultado generado por la IA durante el período sospechoso y presenta un informe del incidente a tu equipo de seguridad. Trátalo como cualquier otra posible filtración de datos.