AWS Certified AI Practitioner
Parámetros de inferencia
Mismo prompt, mismo modelo, respuestas distintas: los parámetros de inferencia que controlan cómo un modelo elige cada token, cuándo recurrir a cada uno y los ajustes que rompen una funcionalidad en silencio.
Intermedio 18 minutos 5 Objetivos de aprendizaje
- Explicar cómo un modelo elige cada token a partir de una distribución de probabilidad
- Describir qué le hacen a esa distribución la temperature, el top-k y el top-p
- Distinguir remodelar la distribución de truncarla
- Elegir ajustes para una tarea factual frente a una tarea creativa
- Identificar qué controlan el largo de respuesta, las penalizaciones y las secuencias de parada