AWS Certified AI Practitioner
Evaluar aplicaciones de RAG y de agentes
Un sistema RAG tiene dos lugares donde fallar y un agente tiene muchos. Esta lección muestra cómo localizar la falla con las métricas que AWS ofrece para knowledge bases y agentes, en vez de adivinarle al modelo.
Intermedio 20 minutos 5 Objetivos de aprendizaje
- Separar una falla de recuperación de una falla de generación en una aplicación RAG
- Describir las métricas integradas de los trabajos de evaluación RAG retrieve only y retrieve and generate en Amazon Bedrock
- Distinguir faithfulness de correctness y explicar por qué hacen falta las dos
- Explicar por qué a un agente hay que evaluarle la trayectoria y no solo la respuesta final
- Identificar los niveles de evaluación de AgentCore y los evaluadores integrados que miden el uso de herramientas