Protegendo LLMs: AI Guardian da Cyera e o OWASP Top Ten 2025

As organizações modernas devem capacitar a adoção de LLM sem comprometer a segurança ou a confiança. O OWASP Top Ten de 2025 para LLM destaca as vulnerabilidades sutis que emergem da complexidade dos sistemas de IA. O AI Guardian da Cyera—combinando AI Security Posture Management e AI Runtime Protection—oferece visibilidade e aplicação contínuas em todas as etapas: desde pipelines de treinamento até saídas em tempo real. Com o Omni DLP amplificando a proteção de dados, a confidencialidade, integridade e confiabilidade do LLM tornam-se aplicáveis.

Principais benefícios:

• Visibilidade completa: Catalogue todas as ferramentas de IA, incluindo produtos de IA externos como ChatGPT, aplicativos de IA incorporados como Copilot e ferramentas de IA desenvolvidas internamente em plataformas como Amazon Bedrock.
• Governança simplificada: As partes interessadas em segurança, conformidade e negócios ganham confiança de que os serviços baseados em LLM seguem as políticas que você define.
• Inteligência em tempo real: Alertas sobre prompts arriscados, saídas e fluxos de dados ajudam as equipes a responder rapidamente.
  
  
• Risco reduzido, adoção acelerada: As equipes podem inovar com IA enquanto reduzem injeção de prompts, vazamento de dados e uso indevido, com aplicação por meio de políticas de segurança de dados e remediações da Cyera.

Este artigo irá guiá-lo por cada um dos OWASP Top Ten para LLMs, descrevendo brevemente tanto a natureza da vulnerabilidade quanto insights de um novo Relatório do Estado da Segurança de Dados de IA 2025 da Cybersecurity Insiders, em conjunto com a Cyera Research Labs (o Relatório). Também veremos como a Cyera pode ajudar a mitigar sua exposição.

LLM01 2025: Injeção de Prompt

A injeção de prompt ocorre quando entradas maliciosas—visíveis ou ocultas—manipulam um LLM para sobrepor regras de segurança, expor dados sensíveis ou executar ações indevidas. Tanto injeções diretas (prompts de usuário) quanto indiretas (incorporadas em conteúdo externo) podem enganar o modelo para ignorar restrições do sistema. De acordo com o Relatório, mais da metade dos entrevistados apontou a injeção de prompt como sua principal preocupação.

A Proteção de Runtime de IA do AI Guardian monitora entradas em tempo real, rotula fontes não confiáveis e coloca em quarentena prompts suspeitos. Juntamente com AI SPM, ele impõe segmentação de política rigorosa—garantindo que as instruções do sistema permaneçam isoladas do conteúdo do usuário. O Omni DLP verifica ainda mais em busca de cargas ocultas, prevenindo manipulação baseada em prompts antes que elas atinjam o modelo.

LLM02 2025: Divulgação de Informações Sensíveis

LLMs podem revelar inadvertidamente algoritmos proprietários, PI, ou dados pessoais—seja por vazamento durante o treinamento, ajuste fino, ou nas respostas. Expor código interno, estratégias de investimento ou segredos comerciais pode levar a sérios riscos de privacidade e competitivos.

O perigo não é teórico. De acordo com o Relatório, 86% dos entrevistados dizem estar preocupados com o vazamento de dados sensíveis por IA, e dois terços já descobriram ferramentas de IA acessando dados que não precisavam.

O AI SPM rastreia onde os dados sensíveis residem e quais ativos de IA têm acesso a eles, aplicando exposição mínima. A Proteção em Tempo de Execução redige ou sinaliza saídas que apresentam risco de divulgação de ativos protegidos. O Omni DLP adiciona outra camada, verificando tentativas de exfiltração e garantindo que dados privados não saiam do sistema.

LLM03 2025: Cadeia de Suprimentos

Ameaças no pipeline de desenvolvimento ou implantação—por exemplo, modelos de terceiros comprometidos, plugins ou SDKs—podem introduzir malware oculto ou backdoors. Um elo fraco como uma biblioteca maliciosa pode comprometer todo o ecossistema de LLM.

O AI SPM avalia continuamente dependências e fontes de código em busca de anomalias, sinalizando comportamentos incomuns ou alterações não autorizadas. Em tempo de execução, o sistema detecta chamadas de plugin não autorizadas ou uso suspeito de modelos externos, colocando em quarentena componentes comprometidos antes que possam afetar a produção.

LLM04 2025: Envenenamento de Dados e Modelos

Adversários podem injetar dados maliciosos ou tendenciosos em conjuntos de dados de treinamento ou ajuste fino—acionando backdoors ou distorcendo o comportamento do modelo. Esse envenenamento pode permanecer oculto até que entradas específicas ativem comportamentos prejudiciais. De acordo com o Relatório, 40 por cento das organizações estão preocupadas com dados sensíveis chegando aos conjuntos de dados de treinamento.

O AI SPM analisa pipelines de treinamento, detecta padrões anômalos ou dados discrepantes e aplica gates de validação. Ele também pode detectar quando um armazenamento de dados de treinamento é editável publicamente, criando um risco de envenenamento do modelo. Em tempo de execução, o AI Runtime Protection monitora mudanças de comportamento ou vieses inesperados—alertando equipes ou revertendo para versões seguras do modelo imediatamente.

LLM05 2025: Tratamento Inadequado de Saída

Quando saídas geradas prosseguem sem verificação—como código de execução automática ou encaminhamento de respostas—LLMs podem desencadear ações inseguras ou expor vulnerabilidades. A análise inadequada também pode injetar conteúdo prejudicial posteriormente. De acordo com o Relatório, quase um quarto das organizações não possui controles de prompt ou saída, enquanto outro quarto usa apenas redação de saída.

A Proteção de Runtime de IA intercepta todas as saídas de LLM e as valida em relação aos esquemas esperados e políticas de segurança antes da liberação. O AI SPM garante que as saídas não acionem chamadas de sistema não autorizadas. O Omni DLP verifica cargas ocultas nas saídas, prevenindo vazamento ou injeção de comandos.

LLM06 2025: Agência Excessiva

Conceder ampla autonomia aos LLMs—como agendar, executar tarefas ou modificar sistemas—pode levar a comportamentos autônomos prejudiciais. Sem controle rigoroso, os modelos podem tomar ações não intencionais. De acordo com o relatório, três quartos dos entrevistados afirmam que agentes autônomos são as ferramentas de IA mais difíceis de proteger, mas apenas 14 por cento possuem detecção de agentes desonestos em tempo real, e apenas 11 por cento implementaram bloqueio automatizado.

O AI SPM aplica regras de privilégio mínimo, limitando o que o LLM pode iniciar, permitindo que as organizações habilitem a IA com segurança. A Proteção de Runtime de IA requer aprovação baseada em políticas ou revisão humana quando os LLMs solicitam ações elevadas. Isso garante que as ações autônomas sejam monitoradas e controladas.

LLM07 2025: Vazamento de Prompt do Sistema

O vazamento de prompts internos do sistema (instruções nos bastidores que orientam o comportamento do LLM) compromete as proteções e capacita invasores a criar manipulações mais eficazes. Como mencionado acima, quase um quarto das organizações não possui controles implementados para monitorar prompts e saídas, deixando-as vulneráveis ao vazamento de prompts do sistema.

A Proteção de Runtime de IA mascara prompts do sistema e evita incluí-los nas saídas. O AI SPM impõe uma separação rigorosa entre mensagens do sistema e interações do usuário. Ferramentas de monitoramento alertam se prompts internos aparecem em logs ou saídas, permitindo remediação imediata.

LLM08 2025: Vulnerabilidades de Vetores e Embeddings

Vulnerabilidades em armazenamentos de embeddings—como vetores não criptografados ou estrutura previsível—podem ser exploradas para reconstruir dados, inferir tokens sensíveis ou inserir embeddings maliciosos. De acordo com o Relatório, três quintos dos entrevistados listaram o risco de acesso a dados como uma preocupação significativa

O AI SPM impõe criptografia em repouso para armazenamentos de embeddings, aplica controles de acesso e detecta consultas de embeddings anômalas. A Proteção em Tempo de Execução monitora padrões de uso da API vetorial para sinalizar acessos incomuns ou adulterações, bloqueando interações suspeitas.

LLM09 2025: Desinformação

LLMs podem alucinar ou produzir com confiança conteúdo falso ou enganoso—prejudicando a credibilidade, espalhando desinformação ou impactando a tomada de decisões. De acordo com o Relatório, um terço das organizações está preocupado com conteúdo alucinado encontrando seu caminho para seus sistemas de informação.

O AI SPM integra validação de referências e políticas de verificação de fatos, pontuando saídas quanto à confiabilidade. Saídas sinalizadas como de baixa confiança ou potencialmente imprecisas acionam respostas de fallback seguro ou revisão humana. A Proteção em Tempo de Execução audita tendências de conteúdo em busca de padrões de desinformação, priorizando precisão em vez de velocidade.

LLM10 2025: Consumo Ilimitado

Entradas ou saídas descontroladas—como prompts de comprimento ilimitado, loops infinitos ou uso simultâneo excessivo—podem levar a custos descontrolados, degradação de desempenho ou condições de negação de serviço. A falta de capacidades de monitoramento e bloqueio em tempo real significa que as proteções sobre uso e gastos são fracas e, como vimos, o Relatório mostra que apenas uma pequena porcentagem das organizações possui detecção de agentes invasores em tempo real e bloqueio automatizado.

O AI SPM define limites de uso (limites de tokens, tetos de simultaneidade). A Proteção em Tempo de Execução aplica esses limites em tempo real—limitando, enfileirando ou rejeitando solicitações que excedem os limites. Painéis de consumo alertam os administradores antes que os limites de recursos sejam ultrapassados, garantindo uma operação suave e com custos controlados.

À medida que as empresas implantam LLMs em suporte ao cliente, automação interna e recursos de produtos, essas ameaças se tornarão críticas para os negócios. Felizmente, o AI Guardian da Cyera equipa as equipes com as políticas, visibilidade e defesas necessárias para transformar os riscos de LLM em governança gerenciável—uma base de confiança para o progresso impulsionado por IA. Para ver como o AI Guardian da Cyera pode ajudar sua organização, agende uma demonstração hoje.