Segurança de sistemas de IA
As ameaças próprias das aplicações de IA e os controles que respondem a cada uma: IAM e criptografia, engenharia de dados segura, linhagem de dados e grounding contra alucinações.
Uma aplicação de IA falha de formas que uma aplicação comum não conhece. O prompt pode carregar uma instrução escondida em um documento que o sistema leu, o conjunto de treinamento pode ter absorvido dados de clientes que ninguém autorizou, e a saída pode ser uma invenção fluente que outro sistema trata como fato. Nenhuma dessas falhas se parece com uma invasão.
Este tópico cobre os cinco pedaços da tarefa 5.1 do exame, na ordem em que eles se sustentam: primeiro o que está sendo atacado, depois os serviços da AWS que defendem, depois o pipeline de dados, o registro documental e as defesas de precisão da saída.
O que este tópico cobre
- a superfície de ataque específica de IA: prompt injection direta e indireta, envenenamento de dados e de modelo, agência excessiva, tratamento indevido da saída e o resto do OWASP Top 10 para aplicações LLM
- os controles da AWS que a prova nomeia: modelo de responsabilidade compartilhada, IAM, criptografia com KMS, AWS PrivateLink, Amazon Macie, GuardDuty, Inspector, AgentCore Identity e logging de invocação de modelo do Bedrock
- as quatro práticas de engenharia de dados segura: avaliar qualidade com o AWS Glue Data Quality, tecnologias de preservação de privacidade, controle de acesso em camadas e integridade de dados
- proveniência, linhagem e catalogação: AWS Glue Data Catalog, SageMaker ML Lineage Tracking, Model Cards e citações de knowledge base
- grounding e detecção de alucinações: limiares de contextual grounding, Automated Reasoning checks, validação determinística da saída e roteamento por confiança para revisão humana
Por que isso importa
A maior parte das questões de segurança deste domínio descreve um requisito e oferece quatro serviços da AWS que soam intercambiáveis. "Não pode trafegar pela internet pública" é PrivateLink, e não criptografia. "Precisamos do prompt exato daquela chamada" é logging de invocação de modelo, e não CloudTrail. "Este time nunca pode ver a coluna de e-mail" é Lake Formation, e não bucket policy. Separar essas fronteiras é o que a prova de fato mede.
Fora da prova, o padrão se repete no trabalho. Times aplicam corretamente criptografia, IAM e endpoints privados, e ainda assim vazam dados de clientes porque ninguém olhou o que entrou no corpus de fine-tuning, ou entregam uma resposta errada com citação anexada porque atribuição foi confundida com verificação. Os controles aqui só funcionam quando você sabe qual falha cada um cobre.