AWS Certified AI Practitioner
Parâmetros de inferência
Mesmo prompt, mesmo modelo, respostas diferentes: os parâmetros de inferência que controlam como um modelo escolhe cada token, quando usar cada um e as configurações que quebram um recurso em silêncio.
Intermediário 18 minutos 5 Objetivos de aprendizado
- Explicar como um modelo escolhe cada token a partir de uma distribuição de probabilidade
- Descrever o que temperature, top-k e top-p fazem com essa distribuição
- Distinguir remodelar a distribuição de truncar a distribuição
- Escolher configurações para uma tarefa factual e para uma tarefa criativa
- Identificar o que comprimento de resposta, penalties e stop sequences controlam