Asegurar los LLM: AI Guardian de Cyera y el Top Ten de OWASP 2025

Las organizaciones modernas deben habilitar la adopción de LLM sin comprometer la seguridad ni la confianza. El Top Ten de LLM 2025 de OWASP destaca las vulnerabilidades matizadas que surgen de la complejidad de los sistemas de IA. AI Guardian de Cyera—que combina AI Security Posture Management y AI Runtime Protection—ofrece visibilidad y aplicación continuas en cada etapa: desde las canalizaciones de entrenamiento hasta las salidas en vivo. Con Omni DLP amplificando la protección de datos, la confidencialidad, integridad y confiabilidad de los LLM se vuelven exigibles.

Beneficios clave:

• Visibilidad completa: Cataloga todas las herramientas de IA, incluidas las herramientas de IA externas como ChatGPT, las aplicaciones de IA integradas como Copilot y las herramientas de IA internas desarrolladas en plataformas como Amazon Bedrock.
• Gobernanza simplificada: Los responsables de seguridad, cumplimiento y negocio obtienen la confianza de que los servicios respaldados por LLM siguen las políticas que defines.
• Inteligencia en tiempo real: Las alertas sobre prompts, resultados y flujos de datos riesgosos ayudan a los equipos a responder rápidamente.
  
  
• Riesgo reducido, adopción acelerada: Los equipos pueden innovar con IA mientras reducen la inyección de prompts, la filtración de datos y el uso indebido, con cumplimiento mediante políticas de seguridad de datos de Cyera y remediaciones.

Este artículo te guiará por cada uno de los OWASP Top Ten para LLMs, describiendo brevemente tanto la naturaleza de la vulnerabilidad como hallazgos del nuevo Informe 2025 sobre el Estado de la Seguridad de Datos en IA de Cybersecurity Insiders, en colaboración con Cyera Research Labs (el Informe). También veremos cómo Cyera puede ayudar a mitigar tu exposición.

LLM01 2025: Inyección de prompts

La inyección de prompts ocurre cuando entradas maliciosas —visibles u ocultas— manipulan a un LLM para anular las reglas de seguridad, exponer datos sensibles o realizar acciones injustificadas. Tanto las inyecciones directas (prompts de usuario) como las indirectas (incrustadas en contenido externo) pueden engañar al modelo para que ignore las restricciones del sistema. Según el Informe, más de la mitad de los encuestados señalaron la inyección de prompts como su principal preocupación.

La Protección en Tiempo de Ejecución de IA de AI Guardian supervisa las entradas en tiempo real, etiqueta las fuentes no confiables y pone en cuarentena las indicaciones sospechosas. Junto con AI SPM, aplica una segmentación de políticas estricta, asegurando que las instrucciones del sistema permanezcan aisladas del contenido del usuario. Omni DLP además escanea en busca de cargas útiles ocultas, evitando la manipulación basada en indicaciones antes de que lleguen al modelo.

LLM02 2025: Divulgación de información sensible

Los LLM pueden revelar inadvertidamente algoritmos propietarios, propiedad intelectual o datos personales, ya sea por filtraciones durante el entrenamiento, el ajuste fino o en sus respuestas. Exponer código interno, estrategias de inversión o secretos comerciales puede conllevar graves riesgos de privacidad y competitividad.

El peligro no es teórico. Según el Informe, el 86% de los encuestados dice estar preocupado por que la IA filtre datos sensibles, y dos tercios ya han descubierto herramientas de IA accediendo a datos que no necesitaban.

AI SPM rastrea dónde reside la información sensible y qué recursos de IA tienen acceso a ella, aplicando una exposición mínima. La Protección en Tiempo de Ejecución redacta o marca salidas que corren el riesgo de divulgar recursos protegidos. Omni DLP añade otra capa, escaneando en busca de intentos de exfiltración y asegurando que los datos privados no salgan del sistema.

LLM03 2025: Cadena de suministro

Las amenazas en la canalización de desarrollo o implementación—p. ej., modelos, complementos o SDK de terceros comprometidos—pueden introducir malware oculto o puertas traseras. Un eslabón débil, como una biblioteca maliciosa, puede socavar todo el ecosistema de LLM.

SPM de IA evalúa continuamente las dependencias y las fuentes de código en busca de anomalías, marcando comportamientos inusuales o cambios no autorizados. En tiempo de ejecución, el sistema detecta llamadas no autorizadas a plugins o uso sospechoso de modelos externos, poniendo en cuarentena los componentes comprometidos antes de que puedan afectar la producción.

LLM04 2025: Envenenamiento de datos y de modelos

Los adversarios pueden inyectar datos maliciosos o sesgados en conjuntos de datos de entrenamiento o ajuste fino, lo que activa puertas traseras o distorsiona el comportamiento del modelo. Este envenenamiento puede permanecer oculto hasta que ciertas entradas activen un comportamiento dañino. Según el Informe, el 40 por ciento de las organizaciones está preocupado por que datos sensibles terminen en los conjuntos de datos de entrenamiento.

AI SPM analiza los pipelines de entrenamiento, detecta patrones anómalos o datos atípicos y aplica compuertas de validación. También puede detectar cuando un datastore de entrenamiento es editable públicamente, lo que crea un riesgo de envenenamiento del modelo. En tiempo de ejecución, AI Runtime Protection vigila cambios de comportamiento o sesgos inesperados, alertando a los equipos o revirtiendo inmediatamente a versiones seguras del modelo.

LLM05 2025: Manejo inadecuado de salidas

Cuando las salidas generadas avanzan sin supervisión —como la ejecución automática de código o el reenvío de respuestas—, los LLM pueden desencadenar acciones inseguras o exponer vulnerabilidades. Un análisis incorrecto también puede inyectar contenido dañino en etapas posteriores. Según el Informe, casi una cuarta parte de las organizaciones no cuenta con controles de indicaciones o salidas, mientras que otra cuarta parte solo utiliza el enmascaramiento de salidas.

La protección en tiempo de ejecución de IA intercepta todas las salidas de los LLM y las valida contra los esquemas esperados y las políticas de seguridad antes de su liberación. El SPM de IA garantiza que las salidas no desencadenen llamadas al sistema no autorizadas. Omni DLP escanea en busca de cargas ocultas en las salidas, evitando fugas o inyección de comandos.

LLM06 2025: Agencia excesiva

Otorgar amplia autonomía a los LLM—como programar, ejecutar tareas o modificar sistemas—puede conducir a comportamientos autónomos dañinos. Sin un control estricto, los modelos podrían tomar acciones no deseadas. Según el informe, tres cuartas partes de los encuestados dicen que los agentes autónomos son las herramientas de IA más difíciles de asegurar, pero solo el 14 por ciento cuenta con detección en tiempo real de agentes descontrolados, y solo el 11 por ciento ha implementado bloqueos automatizados.

AI SPM aplica reglas de mínimo privilegio, limitando lo que el LLM puede iniciar y permitiendo que las organizaciones habiliten la IA de forma segura. La Protección en Tiempo de Ejecución de IA requiere aprobación basada en políticas o revisión humana cuando los LLM solicitan acciones elevadas. Esto garantiza que las acciones autónomas sean monitoreadas y controladas.

LLM07 2025: Fuga del prompt del sistema

La filtración de indicaciones internas del sistema (instrucciones tras bambalinas que guían el comportamiento de los LLM) compromete las barreras de seguridad y les da a los atacantes la capacidad de diseñar manipulaciones más efectivas. Como se mencionó arriba, casi una cuarta parte de las organizaciones no tiene controles para monitorear las indicaciones y las salidas, lo que las deja vulnerables a la filtración de indicaciones del sistema.

La protección en tiempo de ejecución de IA oculta los prompts del sistema y evita incluirlos en las salidas. AI SPM impone una separación estricta entre los mensajes del sistema y las interacciones del usuario. Las herramientas de monitoreo alertan si aparecen prompts internos en los registros o salidas, lo que permite una remediación inmediata.

LLM08 2025: Debilidades de vectores y embeddings

Las debilidades en los almacenes de embeddings—como vectores no cifrados o una estructura predecible—pueden explotarse para reconstruir datos, inferir tokens sensibles o insertar embeddings maliciosos. Según el Informe, tres quintas partes de los encuestados señalaron el riesgo de acceso a datos como una preocupación importante

AI SPM aplica cifrado en reposo para los almacenes de embeddings, aplica controles de acceso y detecta consultas de embeddings anómalas. Runtime Protection monitorea los patrones de uso de la API de vectores para señalar accesos o manipulaciones inusuales, bloqueando interacciones sospechosas.

LLM09 2025: Desinformación

Los LLM pueden alucinar o producir con seguridad contenido falso o engañoso, lo que daña la credibilidad, difunde desinformación o afecta la toma de decisiones. Según el Informe, un tercio de las organizaciones está preocupado por que el contenido alucinado llegue a sus sistemas de información.

AI SPM integra validación de referencias y políticas de verificación de hechos, calificando los resultados por confiabilidad. Los resultados marcados como de baja confianza o potencialmente inexactos activan respuestas de respaldo seguras o revisión humana. La Protección en Tiempo de Ejecución audita tendencias de contenido en busca de patrones de desinformación, priorizando la precisión sobre la velocidad.

LLM10 2025: Consumo sin límites

Entradas o salidas sin control —como indicaciones de longitud ilimitada, bucles infinitos o uso concurrente excesivo— pueden generar costos desbocados, degradación del rendimiento o condiciones de denegación de servicio. La falta de monitoreo en tiempo real y de capacidades de bloqueo implica que las protecciones sobre el uso y el gasto sean débiles y, como hemos visto, el Informe muestra que solo un pequeño porcentaje de las organizaciones cuenta con detección de agentes deshonestos en tiempo real y bloqueo automatizado.

AI SPM establece umbrales de uso (límites de tokens, techos de concurrencia). Runtime Protection los aplica en tiempo real: limita la velocidad, encola o rechaza solicitudes que excedan los límites. Los paneles de consumo alertan a los administradores antes de que se superen los topes de recursos, garantizando una operación fluida y con control de costos.

A medida que las empresas implementan LLMs en atención al cliente, automatización interna y funciones de producto, estas amenazas se volverán críticas para el negocio. Afortunadamente, AI Guardian de Cyera equipa a los equipos con las políticas, la visibilidad y las defensas necesarias para transformar los riesgos de los LLM en una gobernanza manejable, una base de confianza para el progreso impulsado por IA. Para ver cómo AI Guardian de Cyera puede ayudar a tu organización, programa una demostración hoy.