AWS Certified AI Practitioner
Métricas de avaliação: ROUGE, BLEU e BERTScore
As três métricas que o exame nomeia, trabalhadas com frases reais e números reais, mais as métricas que a AWS de fato calcula para cada task type e o ponto cego que todas compartilham.
Intermediário 20 minutos 5 Objetivos de aprendizado
- Definir ROUGE e calcular ROUGE-1 e ROUGE-L sobre um par de frases real
- Explicar como o BLEU combina precisão de n-gramas com uma penalização por brevidade e por que ele é uma métrica de corpus
- Explicar como o BERTScore difere das métricas de sobreposição de palavras e o que ele pega que elas perdem
- Casar cada métrica com a tarefa que lhe serve e nomear o ponto cego que todas compartilham
- Identificar qual métrica calculada a AWS usa para cada task type de avaliação