Modèles de fondation et grands modèles de langage

Le domaine 1 vous a donné une version en une phrase du grand modèle de langage : il prédit le token suivant, puis recommence. La phrase est vraie et elle ne suffit pas. Elle n'explique pas comment un modèle qui lit « le livreur a posé le colis sur la table parce qu'il était lourd » comprend que « il » désigne le colis. Rien dans le voisinage immédiat de « il » ne le dit, et la grammaire française ne tranche pas non plus : livreur et colis sont tous deux masculins. Changez un seul mot, « parce qu'il était fatigué », et « il » bascule sur le livreur. Le modèle doit donc aller chercher loin en arrière, et se décider sur le sens.

Cette capacité à revenir en arrière dans une phrase est le mécanisme qui a rendu l'IA générative moderne possible. Cette leçon ouvre l'architecture, puis s'en sert pour séparer deux termes que l'examen aime confondre : modèle de fondation et grand modèle de langage.

Ce qu'est vraiment un modèle de fondation

Le glossaire d'Amazon Bedrock définit un modèle de fondation comme « un modèle d'IA doté d'un grand nombre de paramètres et entraîné sur une quantité massive de données variées. Un modèle de fondation peut générer une variété de réponses pour un large éventail de cas d'usage. Les modèles de fondation peuvent générer du texte ou des images, et peuvent aussi convertir une entrée en embeddings ».

Lisez cette définition comme trois affirmations empilées. L'échelle : des milliards de paramètres, pas des milliers. La largeur : des données variées, pas un jeu de données spécialisé. L'adaptabilité : de nombreux cas d'usage à partir d'un seul modèle.

La troisième affirmation est celle qui a changé la façon de construire. Un modèle de ML classique est un outil mono-usage. Vous entraînez un classifieur de fraude sur des transactions étiquetées, et il détecte la fraude. Il ne résumera jamais un contrat, et aucun prompt ne l'y amènera. Un modèle de fondation inverse ce rapport. Un seul modèle résume, traduit, écrit du code et répond à des questions, guidé par ce que vous tapez plutôt que par un réentraînement.

L'économie découle de l'architecture. Pré-entraîner un modèle de fondation coûte des millions de dollars et des mois de calcul, ce qu'aucune équipe ordinaire ne peut absorber. Mais ce coût est payé une fois par le fournisseur du modèle, puis amorti sur chaque client et chaque tâche. C'est pourquoi « choisir un modèle et le prompter » a remplacé « entraîner un modèle par problème » comme point de départ par défaut, et pourquoi l'examen consacre un domaine entier à des modèles que vous n'avez pas construits.

Le problème que les transformers ont résolu

Avant 2017, les modèles de séquence lisaient le texte comme une bande de télécopie qui sort de la machine : un mot à la fois, de gauche à droite, en portant un résumé courant. C'est un réseau de neurones récurrent. AWS pose le contraste clairement : les RNN « traitent les séquences de données un élément à la fois » alors que les transformers « traitent des séquences entières simultanément », ce qui donne « des temps d'entraînement bien plus rapides et la capacité à gérer des séquences bien plus longues que les RNN ».

Lire un mot à la fois pose deux problèmes. D'abord la lenteur, parce que l'étape 500 ne peut pas démarrer avant la fin de l'étape 499, donc le travail ne se répartit pas sur des milliers de GPU. Ensuite, et c'est pire, le résumé courant se dégrade. Quand le RNN arrive à « parce qu'il était lourd », le colis a traversé plusieurs tours de compression et ne subsiste presque plus.

Le transformer jette le résumé courant. Il charge la séquence entière d'un coup et laisse chaque token regarder directement tous les autres. Plus rien n'a besoin de survivre à une course de relais.

L'auto-attention : décider ce qui compte

L'auto-attention est le mécanisme qui fait ce travail de regard. AWS la décrit comme le mécanisme qui « permet au modèle de regarder différentes parties de la séquence toutes en même temps et de déterminer quelles parties sont les plus importantes ».

Imaginez une réunion de projet où tout le monde entend tout le monde. Quand la discussion arrive sur la date de mise en production, vous écoutez attentivement l'ingénieur release, vous suivez d'une oreille la designer, et vous coupez le reste de la salle. Vous ne compressez pas la réunion en un résumé pour ensuite réagir au résumé : vous réagissez aux personnes, pondérées par leur pertinence sur le sujet du moment. L'auto-attention fonctionne ainsi : pour chaque token, le modèle note tous les autres tokens selon leur pertinence, et construit le sens de ce token comme un mélange pondéré de ceux qui comptent. L'analogie s'arrête sur un point qu'il faut nommer : vous écoutez parce que vous comprenez le sujet, alors que les scores de pertinence du modèle sont des poids statistiques appris, sans aucune compréhension derrière.

Appliquez-la à la phrase du livreur. Quand le modèle traite « il », l'auto-attention note tous les tokens précédents. « Livreur » et « colis » montent tous les deux, parce que ce sont les deux noms candidats. Puis « lourd » fait pencher la balance vers « colis », parce que les données d'entraînement contiennent d'innombrables phrases où ce qu'on pose parce que c'est lourd est l'objet porté. Remplacez « lourd » par « fatigué » et le même mécanisme fait basculer le poids vers « livreur ». Une seule architecture, aucune règle écrite à la main, et la résolution sort de poids appris.

L'encodage positionnel : remettre l'ordre

Tout lire d'un coup crée un nouveau problème. Si le modèle voit tous les tokens simultanément, « le chien a mordu l'homme » et « l'homme a mordu le chien » arrivent comme le même sac de mots. L'ordre porte du sens, et la lecture parallèle le jette.

La solution est l'encodage positionnel. AWS le décrit ainsi : « l'encodage positionnel ajoute de l'information à l'embedding de chaque token pour indiquer sa position dans la séquence », parce que « le modèle lui-même ne traite pas nativement les données séquentielles dans l'ordre ». La représentation numérique de chaque token reçoit un signal de position, donc le token 4 et le token 40 restent distinguables même traités dans le même instant.

C'est un bon exemple d'un compromis d'architecture payé ailleurs. Le parallélisme a acheté la vitesse et la portée longue distance, et l'encodage positionnel est la facture.

Encodeur et décodeur

AWS décrit l'architecture complète en deux moitiés. L'encodeur « lit et traite la séquence de données d'entrée entière » et la transforme en « une représentation mathématique compacte ». Le décodeur « prend ce résumé et, étape par étape, génère la séquence de sortie ».

Tous les modèles n'utilisent pas les deux moitiés. Les modèles conçus pour générer du texte, dont la famille GPT, sont decoder-only : ils prennent les tokens déjà produits et sortent le suivant. Les modèles conçus pour produire des embeddings s'appuient sur l'encodeur, parce que leur travail s'arrête à la représentation numérique compacte et ne redevient jamais du texte. Cette séparation compte pour la leçon suivante, où les modèles d'embedding auront leur propre section.

Les paramètres : ce que le modèle a appris

Pendant l'entraînement, un transformer ajuste des millions ou des milliards de nombres jusqu'à ce que ses prédictions cessent de s'améliorer. AWS les nomme directement : « les poids et les biais, avec les embeddings, sont appelés paramètres du modèle. Les grands réseaux de neurones à base de transformers peuvent avoir des milliards et des milliards de paramètres ». AWS cite GPT-3 à 175 milliards de paramètres et Jurassic-1 à 178 milliards comme exemples d'échelle.

Voici la méprise à tuer maintenant, parce qu'elle produit de mauvaises réponses dans tout le cours. Les paramètres ne sont pas une copie compressée des données d'entraînement, et le modèle n'a aucun index à consulter. Ces 175 milliards de nombres encodent des régularités statistiques : quels tokens suivent quels autres, quels mots se comportent pareil, quelles formes de phrase sont grammaticales. Quand un LLM vous donne un fait, il ne récupère pas un document stocké, il génère la continuation que ces poids rendent la plus probable. C'est tout le mécanisme derrière l'hallucination, et c'est pourquoi l'examen associe sans arrêt modèles de fondation, augmentation par récupération et ancrage factuel.

Le nombre de paramètres est un indicateur grossier de capacité, pas une garantie. Un modèle plus grand traite en général mieux le raisonnement difficile, et il coûte aussi plus cher au token et répond plus lentement. Le domaine 2 revient sur ce compromis à plusieurs reprises.

Le pré-entraînement sans étiquettes

L'apprentissage supervisé classique a besoin d'exemples étiquetés : cette transaction est frauduleuse, celle-ci ne l'est pas. L'étiquetage est lent et cher, et c'est la raison pour laquelle les jeux de données de ML classique restent petits.

Les modèles de fondation contournent l'obstacle. AWS décrit les LLM à base de transformers comme « capables d'un entraînement non supervisé » par « auto-apprentissage », au cours duquel ils « apprennent à comprendre la grammaire de base, les langues et les connaissances ». L'astuce tient à ce que le texte brut est son propre corrigé. Masquez un mot, demandez au modèle de le prédire, et vous avez un exemple d'entraînement avec sa bonne réponse, obtenu gratuitement. Faites cela sur un très grand corpus, et la grammaire, les faits, le style et des schémas de raisonnement tombent tous du même objectif.

C'est pourquoi les modèles de fondation s'entraînent sur des données larges et surtout non étiquetées alors qu'un classifieur de fraude ne le peut pas. L'annotation humaine ne disparaît pas complètement, mais elle se déplace plus loin dans le processus, vers le fine-tuning et l'alignement, où un jeu de données bien plus petit et sélectionné façonne le comportement du modèle. La leçon sur le cycle de vie du FM revient précisément sur cette séparation.

Modèle de fondation, LLM et modèle classique

Ces trois termes se situent à des niveaux différents, et l'examen teste votre capacité à les tenir séparés.

La relation ne va que dans un sens. Tout LLM est un modèle de fondation, mais tout modèle de fondation n'est pas un LLM. Un générateur d'images et un modèle d'embedding de texte sont tous deux des modèles de fondation, et aucun des deux n'est un grand modèle de langage. Si une question décrit un modèle qui transforme une entrée en vecteurs pour de la recherche par similarité, « LLM » est la mauvaise étiquette, même si le modèle est grand et entraîné sur du texte.

Conseils pour l'examen

• Les mots « large », « varié », « non étiqueté » et « adapté à de nombreuses tâches » pointent vers le modèle de fondation. Un modèle entraîné sur un seul jeu de données étiqueté pour un seul travail est du ML classique, quelle que soit sa taille.
• « LLM » est le terme le plus étroit. Si le scénario mentionne des images, de la vidéo ou des embeddings en sortie, répondez modèle de fondation, pas LLM. Les options qui traitent les deux termes comme interchangeables sont généralement le piège.
• Sur les transformers, le critère est le traitement parallèle de la séquence entière, avec l'auto-attention qui pondère la pertinence et l'encodage positionnel qui restitue l'ordre. Si une option dit qu'un transformer traite les tokens un par un, elle décrit un RNN.
• Attendez-vous à un distracteur affirmant que le pré-entraînement exige des données étiquetées. C'est faux. Le pré-entraînement auto-supervisé sur du texte non étiqueté est exactement ce qui rend l'échelle des modèles de fondation possible.
• Ne lisez pas le nombre de paramètres comme une garantie d'exactitude. Les grands modèles raisonnent en général mieux, coûtent toujours plus cher au token, et aucun n'arrête d'halluciner.

L'idée à emporter : un modèle de fondation est un très grand tas de poids appris qui prédit des continuations plausibles, et tout ce que vous construisez par-dessus cherche à orienter ces prédictions vers quelque chose d'utile et de vrai. Pour les orienter, il faut d'abord savoir ce que le modèle consomme vraiment, et ce ne sont pas des mots. La leçon suivante décompose l'entrée en tokens, chunks et embeddings.