AWS Certified AI Practitioner
Avaliar aplicações de RAG e de agentes
Um sistema RAG tem dois lugares para falhar e um agente tem muitos. Esta lição mostra como localizar a falha com as métricas que a AWS oferece para knowledge bases e agentes, em vez de chutar no modelo.
Intermediário 20 minutos 5 Objetivos de aprendizado
- Separar uma falha de recuperação de uma falha de geração em uma aplicação RAG
- Descrever as métricas prontas dos jobs de avaliação de RAG retrieve only e retrieve and generate no Amazon Bedrock
- Distinguir faithfulness de correctness e explicar por que as duas são necessárias
- Explicar por que um agente precisa ter a trajetória avaliada, não apenas a resposta final
- Identificar os níveis de avaliação do AgentCore e os evaluators prontos que medem o uso de ferramentas