AWS Certified AI Practitioner
Les paramètres d'inférence
Même prompt, même modèle, réponses différentes : les paramètres d'inférence qui contrôlent comment un modèle choisit chaque token, quand recourir à chacun, et les réglages qui cassent une fonction en silence.
Intermédiaire 18 minutes 5 Objectifs d'apprentissage
- Expliquer comment un modèle choisit chaque token à partir d'une distribution de probabilités
- Décrire ce que temperature, top-k et top-p font chacun à cette distribution
- Distinguer reformer la distribution de la tronquer
- Choisir des réglages pour une tâche factuelle plutôt que pour une tâche créative
- Identifier ce que la longueur de réponse, les pénalités et les séquences d'arrêt contrôlent