Comment les modèles de fondation sont entraînés

Vous savez déjà situer le fine-tuning sur l'échelle de personnalisation : il se place au-dessus de l'ingénierie de prompts et du RAG, il modifie les poids du modèle, et vous y recourez quand le comportement doit être constant. Mais pour comprendre ce que le fine-tuning change réellement, vous devez d'abord savoir ce que le pré-entraînement a déjà mis dans le modèle. Un modèle de base comme Amazon Titan ou Anthropic Claude arrive en sachant une quantité stupéfiante de choses avant que vous ne lui envoyiez la moindre requête. D'où vient cette connaissance, et pourquoi coûte-t-elle si cher à produire pour un fournisseur ?

La réponse est un pipeline en trois étapes. Savoir ce que fait chaque étape vous dit quelles parties d'un modèle vous pouvez réellement influencer, lesquelles vous héritez, et exactement où votre propre personnalisation se branche. C'est un objectif d'examen nommé, et c'est aussi la différence entre choisir la bonne méthode de personnalisation et gaspiller un budget d'entraînement sur la mauvaise.

Pré-entraînement : apprendre la langue à partir de texte brut

Le pré-entraînement est l'étape qui donne à un modèle de fondation sa connaissance brute, et il fonctionne par une seule tâche répétée : prédire le token suivant. Donnez au modèle la séquence "La capitale de la France est" et il apprend à prédire "Paris". Donnez-lui "def add(a, b): return" et il apprend à prédire "a + b". Le modèle glisse le long du texte token par token, devine chaque token suivant et ajuste ses milliards de paramètres chaque fois qu'il se trompe.

Voici ce qui rend cela scalable. Personne n'étiquette ces données. La bonne réponse à chaque position est simplement le token qui vient réellement après dans le texte, donc le texte se supervise lui-même. C'est ce que veut dire auto-supervisé, et c'est pourquoi le pré-entraînement peut consommer des milliers de milliards de tokens de livres, de sites web, de code et d'articles sans une armée d'annotateurs. Le modèle ne mémorise pas une table de correspondance ; il compresse dans ses poids les motifs statistiques de la langue, des faits et du raisonnement.

C'est une rupture nette avec l'apprentissage supervisé que vous avez rencontré plus tôt dans le cours, où chaque exemple d'entraînement venait avec une étiquette fournie par un humain. Dans le pré-entraînement, il n'y a aucune étiquette séparée. Le mot suivant est l'étiquette. Ce seul choix de conception a permis aux modèles de fondation d'atteindre la taille qu'ils ont.

Un détail mécanique explique pourquoi c'est même faisable : l'architecture transformer traite une séquence entière en parallèle plutôt qu'un mot à la fois, ce qui permet aux fournisseurs d'entraîner sur de grandes flottes de GPU. Malgré cela, un pré-entraînement complet prend des semaines et coûte une fortune en calcul, ce qui explique que presque personne ne le fasse soi-même.

Pourquoi le pré-entraînement seul ne suffit pas

Un modèle qui sort tout juste du pré-entraînement s'appelle un modèle de base, et il a une personnalité particulière : il prédit du texte plausible, mais il ne sait pas qu'il est censé être utile. Demandez à un modèle de base brut "Quelle est la capitale de la France ?" et il pourrait continuer avec d'autres questions de culture générale, parce que dans ses données d'entraînement une question est souvent suivie d'autres questions. Il a la connaissance mais pas les bonnes manières.

Deux étapes de plus corrigent cela. Elles utilisent bien moins de données que le pré-entraînement, et elles façonnent le comportement plutôt que d'injecter de la connaissance.

Fine-tuning et instruction tuning : lui apprendre à suivre des instructions

L'étape suivante entraîne le modèle de base sur un ensemble bien plus petit d'exemples étiquetés, chacun associant une instruction à une bonne réponse. Après des milliers d'exemples comme "Résume ce paragraphe" suivi d'un résumé propre, le modèle acquiert l'habitude générale de faire ce qu'on lui demande. Comme les exemples sont des instructions et leurs réponses, on appelle souvent cela l'instruction tuning, et c'est une forme de fine-tuning supervisé.

C'est le même mécanisme que vous utiliserez pour personnaliser un modèle plus loin dans ce sujet. Le fournisseur l'applique d'abord, largement, pour créer un assistant généraliste ; vous pouvez l'appliquer de nouveau, étroitement, pour spécialiser cet assistant sur votre tâche. L'outil est identique, seules les données et l'objectif changent.

Alignement avec du feedback humain (RLHF)

Il y a une chose que les exemples étiquetés gèrent mal : la qualité subjective. Ce qui compte comme une réponse utile, honnête et prudente à bon escient est difficile à écrire sous forme d'une seule réponse correcte. Vous le reconnaissez quand vous le voyez, mais vous ne pouvez pas facilement l'étiqueter.

L'apprentissage par renforcement à partir de feedback humain (RLHF) résout cela en apprenant à partir de comparaisons plutôt que de réponses fixes. Le modèle produit plusieurs réponses au même prompt, des humains classent celles qu'ils préfèrent, et ces classements entraînent un modèle de récompense séparé qui prédit comment un humain noterait n'importe quelle réponse. Le modèle principal est ensuite ajusté pour bien scorer face à ce modèle de récompense. Le résultat est le comportement soigné et aligné que vous attendez d'un assistant en production. Remarquez ce que le RLHF fait et ne fait pas : il façonne le ton et l'utilité, il n'enseigne pas de nouveaux faits.

Les trois étapes ensemble

Lisez le tableau de haut en bas et regardez les données changer. Elles partent énormes et non étiquetées, rétrécissent vers des paires étiquetées, puis rétrécissent encore vers des jugements humains. L'effort passe de la simple échelle vers une curation soigneuse.

Ce que cela signifie pour vous

Vous n'exécutez presque jamais l'étape 1. Le pré-entraînement d'un modèle de fondation demande des données et un calcul à une échelle qui coûte des sommes énormes aux fournisseurs, et payer cela depuis zéro reviendrait à jeter tout l'avantage des modèles de fondation, qui est que quelqu'un l'a déjà fait. C'est la même raison pour laquelle le cours a plus tôt opposé le ML traditionnel, où vous entraînez votre propre modèle, aux modèles de fondation, où vous partez d'un modèle déjà pré-entraîné.

Là où vous entrez, c'est la personnalisation, et elle se calque proprement sur les étapes que vous venez de voir. Le pré-entraînement continu prolonge l'étape 1 avec votre propre texte de domaine. Le fine-tuning répète l'étape 2 avec vos propres exemples étiquetés. La prochaine leçon décortique ces méthodes et montre quand chacune convient.

Conseils pour l'examen

• Le pré-entraînement est auto-supervisé, utilise du texte non étiqueté, fonctionne par prédiction du token suivant, tourne à une échelle massive, et est réalisé par le fournisseur. Ces mots-clés voyagent ensemble.
• "Données non étiquetées" plus "apprend la langue générale et les motifs" pointe vers le pré-entraînement. "Exemples étiquetés" plus "une tâche ou un comportement spécifique" pointe vers le fine-tuning.
• Le RLHF aligne le modèle sur les préférences humaines via un modèle de récompense. Si une question dit qu'une technique ajoute de nouvelles connaissances factuelles, le RLHF est la mauvaise réponse.
• Les modèles de fondation existent pour que vous n'ayez pas à pré-entraîner depuis zéro. Une option qui suggère d'entraîner un grand modèle à partir de rien pour un cas d'usage métier normal est presque toujours le piège.
• Le modèle de base que vous appelez dans Bedrock est déjà le résultat des trois étapes, que vous le personnalisiez ensuite ou non.

Le modèle de base dans votre console Bedrock est le produit fini de trois étapes que vous n'avez jamais payées : un pré-entraînement massif sur du texte non étiqueté, un instruction tuning étiqueté, et un alignement basé sur les préférences. Gardez cette carte en tête, car votre propre personnalisation n'est pas une chose nouvelle et mystérieuse. C'est l'une de ces deux mêmes étapes d'ajustement, relancée sur vos données, ce qui est exactement ce que la prochaine leçon détaille.