Ce que l'IA générative fait bien

Une équipe passe six semaines à construire un classifieur de sentiment pour des avis produits. Elle labellise 20 000 avis, entraîne un modèle, l'ajuste, le déploie. Ça marche. Puis le responsable produit demande le même sentiment sur les emails de support, plus une étiquette de thème sur chaque avis, plus un brouillon de réponse pour les avis négatifs.

Avec le classifieur, ce sont trois nouveaux projets, chacun avec son effort de labellisation. Avec un modèle de fondation, ce sont trois phrases ajoutées à un prompt, opérationnelles l'après-midi même.

Cet écart est le premier des quatre avantages que le guide de l'examen nomme dans l'objectif 2.2 : « adaptabilité, réactivité, capacités conversationnelles, capacité à générer du contenu ». Chacun ressemble à un argument marketing tant que vous ne le comparez pas au prix de l'approche précédente.

L'adaptabilité : la tâche sort de l'entraînement

La tâche d'un modèle supervisé est décidée par ses labels, et les labels sont choisis avant le début de l'entraînement. Entraînez sur des labels positif et négatif, et le modèle rend une classe sur deux pour un avis. Pour toujours. Demandez-lui une étiquette de thème et aucun mécanisme ne peut répondre, parce que rien dans sa couche de sortie ne sait représenter un thème.

Un modèle de fondation fonctionne dans l'autre sens. Le pré-entraînement lui a donné une capacité large sans tâche attachée, donc la tâche arrive au moment de l'inférence, écrite dans le prompt. Mêmes poids, nouvelle instruction, autre métier.

La conséquence pratique est un changement d'unité de travail. En ML traditionnel, changer ce que fait le système veut dire un entraînement : collecter des labels, entraîner, évaluer, redéployer, soit des jours ou des semaines. Avec un modèle de fondation, cela veut dire modifier du texte, soit des minutes. Les équipes le vivent comme un déplacement de ce qui vaut la peine d'être tenté, parce qu'une tâche qui ne justifierait jamais un projet de six semaines se justifie facilement en un paragraphe.

Deux limites gardent ce constat honnête. L'adaptabilité n'est pas l'exactitude : un classifieur entraîné sur 20 000 avis labellisés battra souvent un modèle généraliste sur ces avis-là précisément, et c'est un arbitrage réel. Et l'adaptabilité n'est pas gratuite : le prompt qui porte l'instruction est facturé à chaque requête, indéfiniment, alors que le coût d'entraînement du classifieur a été payé une fois.

L'examen a un nom pour la mesure de cette propriété, la cross-domain performance, et il apparaît dans l'objectif sur les métriques métier, couvert dans la dernière leçon de ce thème.

La réactivité : deux sens, tous deux testés

« Réactivité » est l'avantage le plus souvent mal lu, parce que deux propriétés différentes circulent sous ce nom.

La première est la latence. Un modèle de fondation répond à une requête arbitraire en temps réel, en diffusant généralement les tokens au fur et à mesure qu'il les produit, donc une personne lit le début d'une réponse pendant que la fin se génère encore. C'est ce qui rend la conversation en direct possible. AWS propose aussi une inférence optimisée pour la latence sur Amazon Bedrock pour certains modèles, qui route les requêtes vers un chemin de service plus rapide sans rien changer au modèle ni au prompt.

La seconde est la réactivité au changement : le système répond à une demande que personne n'avait anticipée, sans cycle de développement entre la demande et la réponse. Quand un nouveau produit sort le mardi, l'assistant peut en parler le mardi, tant que les détails atteignent le prompt.

Voici la confusion qui mérite d'être nommée, parce qu'elle fait un excellent distracteur. La réactivité ne veut pas dire qu'un modèle de fondation est plus rapide que l'alternative. Un petit classifieur spécialisé répond en quelques millisecondes ; un grand modèle de langage prend de quelques centaines de millisecondes à plusieurs secondes, et ralentit à mesure que la réponse s'allonge. Si un scénario exige une décision en moins de 50 millisecondes dans un flux de paiement, l'IA générative est le mauvais outil et l'examen attend que vous le disiez. Réactif veut dire assez rapide pour tenir une conversation et rapide à changer, pas le plus rapide dans l'absolu.

Les capacités conversationnelles : du langage naturel des deux côtés

Le troisième avantage est celui que les utilisateurs remarquent, et la raison pour laquelle l'IA générative a atteint le grand public si vite. L'entrée est une phrase plutôt qu'un formulaire, un schéma ou un langage de requête. La sortie est une phrase plutôt qu'une classe ou un nombre.

C'est le multi-tour qui justifie sa place. Un analyste demande « quels contrats arrivent à échéance ce trimestre ? », puis « seulement ceux au-dessus de 100 000 € », puis « trie-les par date de renouvellement et dis-moi lesquels ont une clause de tacite reconduction ». Chaque relance n'a aucun sens isolément. Ensemble, elles forment une conversation, et le modèle résout « ceux-là » et « les » contre ce qui précède.

Passons au mécanisme, parce que l'examen aime l'écart entre le ressenti et le fonctionnement. Le modèle n'a pas de mémoire. Poids figés, une requête à la fois. Ce qui crée l'illusion, c'est que votre application renvoie les tours précédents comme tokens d'entrée à chaque nouvelle requête, donc l'historique arrive dans le prompt. Trois conséquences en découlent directement, et les trois tombent à l'examen : une longue conversation coûte de plus en plus cher, une conversation finit par dépasser la fenêtre de contexte, et rien n'est retenu après la session sauf si vous le stockez délibérément.

Générer du contenu : une sortie qui n'existait pas

Le quatrième avantage est celui qui donne son nom à toute la catégorie. Un modèle traditionnel sélectionne : il choisit une classe, calcule une probabilité, prédit un nombre qui avait déjà une bonne réponse dans les données. Un modèle génératif compose quelque chose de nouveau.

Cela couvre les sorties évidentes, texte, images, audio, vidéo et code, et une autre facile à manquer. AWS cite la génération de données labellisées synthétiques comme une application aux processus métier, ce qui veut dire qu'un des usages utiles de l'IA générative est de fabriquer des données d'entraînement pour du machine learning traditionnel. Une équipe qui manque d'exemples de fraude labellisés peut en générer de plausibles pour renforcer un classifieur. Cette inversion apparaît dans les questions de scénario.

La génération est aussi là où les risques se concentrent, exactement pour la raison qui fait sa force : rien ne contraint la sortie face à une source. C'est le sujet de la leçon suivante.

L'avantage sous les quatre : rien à labelliser

Décomposez les quatre avantages et le même fait se retrouve sous la plupart d'entre eux. La partie coûteuse a déjà eu lieu, dans le centre de données de quelqu'un d'autre, il y a des mois.

Mettez les deux approches côte à côte sur la même tâche, le sentiment sur des avis produits :

La ligne qui décide des vrais projets est la forme du coût. Un modèle de fondation supprime l'investissement initial et le remplace par une charge par requête qui ne s'arrête jamais. À 500 requêtes par jour, l'échange est manifestement bon. À 50 millions de requêtes par jour, l'inférence bon marché du classifieur peut gagner largement, même en comptant l'effort de labellisation. C'est le volume qui renverse la réponse, et un scénario qui mentionne un très gros volume de requêtes sur une tâche étroite et stable vous éloigne généralement d'un modèle de fondation.

Lire les signaux dans un scénario

Quatre signaux poussent vers l'IA générative, et ils valent d'être retenus en bloc :

• Une entrée non structurée qu'aucun schéma ne couvre : texte libre, images, audio, documents mixtes.
• Une sortie variable où la réponse est un paragraphe ou une image, sans réponse unique correcte sur laquelle s'entraîner.
• Plusieurs tâches voisines qui exigeraient chacune leur modèle.
• Aucun jeu de données labellisé, et aucun moyen économique d'en construire un.

Trois signaux poussent dans l'autre sens :

• Une prédiction étroite à très gros volume avec beaucoup de labels, où un petit modèle est moins cher et plus exact.
• Un budget de latence strict mesuré en dizaines de millisecondes.
• L'exigence qu'une même entrée produise toujours la même sortie, sujet de la leçon suivante.

Conseils pour l'examen

• Apprenez les quatre avantages nommés tels quels : adaptabilité, réactivité, capacités conversationnelles, capacité à générer du contenu. Les listes distractrices y glissent généralement exactitude, déterminisme ou interprétabilité, précisément les propriétés où l'IA générative est la plus faible.
• Gardez les objectifs 2.2 et 2.3 séparés. Avantages de l'IA générative comme technologie, ce sont les quatre ci-dessus. Avantages des services d'IA générative d'AWS, ce sont accessibilité, barrière à l'entrée réduite, efficacité, rentabilité et rapidité de mise sur le marché. La formulation de la question indique la liste attendue.
• L'adaptabilité consiste à spécifier la tâche dans le prompt plutôt que dans les labels. Toute option qui décrit un réentraînement décrit l'approche traditionnelle.
• La réactivité ne veut pas dire une latence inférieure à toutes les alternatives. Un scénario avec un budget strict en millisecondes sur une prédiction étroite pointe vers le ML traditionnel.
• La mémoire conversationnelle est du contexte renvoyé, pas un état stocké. Les questions sur le coût qui grimpe dans les longues conversations, ou sur la fenêtre de contexte atteinte, viennent de ce fait.
• Surveillez la combinaison très gros volume plus tâche étroite et stable. Elle favorise un modèle spécialisé, même si un modèle de fondation saurait faire le travail.

Une idée à emporter : chaque avantage de cette leçon vient du fait que le modèle est généraliste et déjà entraîné, et chaque limite de la leçon suivante vient des deux mêmes faits. La généralité explique qu'il s'adapte, et elle explique aussi qu'il n'ait aucune idée du moment où il se trompe.