Avaliação de modelos de fundação
Provar que um FM funciona: abordagens de avaliação, métricas como ROUGE e BLEU, avaliação de aplicações RAG e de agentes, e alinhamento com o negócio.
Você escolheu um modelo, escreveu os prompts, ligou a recuperação e talvez tenha feito ajuste fino. Agora alguém precisa provar que o resultado funciona, e "pareceu bom no teste" não sustenta uma decisão de produção. Este tópico troca a impressão por evidência: como coletá-la, quanto cada tipo vale e onde cada uma delas engana.
O que este tópico cobre
- as três abordagens de avaliação: automática contra um dataset, um LLM atuando como juiz e revisores humanos, com os task types, datasets prontos e datasets de prompts customizados do Amazon Bedrock
- datasets de benchmark como MMLU e HELM, e por que uma posição em leaderboard não decide nada sobre a sua aplicação
- ROUGE, BLEU e BERTScore trabalhados com frases e números reais, além das métricas que a AWS de fato calcula para cada task type
- avaliação de RAG: jobs retrieve only e retrieve and generate, context relevance e coverage, faithfulness, citações, e a fronteira entre faithfulness e correctness
- avaliação de agentes com o AgentCore: níveis de sessão, trace e chamada de ferramenta, goal success rate e precisão de seleção e de parâmetros de ferramenta
- alinhamento com o negócio: produtividade, engajamento do usuário, task engineering, limiares de aceitação, amostragem estratificada, feedback do usuário e data drift
Por que isso importa
Avaliação é o passo que separa uma demo de um sistema em que se pode confiar, e o exame trata isso como habilidade de julgamento. As questões te entregam um cenário sem ground truth, ou uma régua subjetiva de qualidade, ou uma nota alta de faithfulness com respostas erradas, e esperam que você diga qual abordagem se encaixa e qual métrica está sendo testada.
O retorno vai além da prova. Estas são as ferramentas que respondem às perguntas que um time real recebe depois de subir um modelo de fundação: melhorou frente ao que existia, quanto, e qual parte do pipeline quebrou quando piorou. Sem elas, cada mudança de prompt é um chute e cada regressão só aparece pela reclamação de um usuário.