AWS Certified AI Practitioner
Les dimensions de l'IA responsable
Les huit dimensions qu'AWS utilise pour définir l'IA responsable, la façon dont le vocabulaire de l'examen s'y rattache, et ce que recouvre un choix de modèle responsable au-delà de la précision.
- Nommer les huit dimensions qu'AWS utilise pour définir l'IA responsable et ce que chacune protège
- Distinguer l'explicabilité de la transparence, et la sûreté de la véracité
- Associer chaque dimension à l'outil AWS qui la traite
- Expliquer ce qu'un choix de modèle responsable inclut au-delà de la précision, y compris les considérations environnementales
Un modèle de scoring crédit peut atteindre 94 pour cent de précision et rester la raison pour laquelle votre entreprise se retrouve devant un régulateur. Il accorde moins de dossiers dans un code postal que dans un autre. Il ne sait expliquer aucun refus au client qui l'a reçu. Personne n'a écrit noir sur blanc à quoi il servait, donc une deuxième équipe le réutilise pour un usage sur lequel il n'a jamais été testé. Rien de tout cela n'apparaît dans un score de précision.
L'IA responsable est la pratique qui consiste à concevoir, construire et exploiter l'IA de sorte que les bénéfices soient réels et les risques maîtrisés. AWS rend cette pratique concrète en nommant un ensemble de dimensions contre lesquelles évaluer un système, et l'examen tire tout son vocabulaire du domaine 4 de cette liste. Cette leçon vous donne les dimensions, les frontières que les apprenants confondent, et l'outil AWS attaché à chacune.
Les huit dimensions
AWS définit l'IA responsable avec huit dimensions, qu'il revoit et met à jour à mesure que la technologie change. Lisez chacune comme une question que vous pouvez poser à un système.
| Dimension | Définition AWS | La question qu'elle pose |
|---|---|---|
| Équité | Prendre en compte les impacts sur les différents groupes de parties prenantes | Ce système traite-t-il des groupes de personnes différemment, et pouvons-nous prouver que non ? |
| Explicabilité | Comprendre et évaluer les sorties du système | Pouvons-nous rendre compte de la raison pour laquelle cette sortie précise s'est produite ? |
| Confidentialité et sécurité | Obtenir, utiliser et protéger les données et les modèles de façon appropriée | Avons-nous le droit d'utiliser ces données, et sont-elles protégées ? |
| Sûreté | Empêcher les sorties nuisibles et les usages détournés | Ce système peut-il produire un préjudice, ou être poussé à en produire un ? |
| Contrôlabilité | Disposer de mécanismes pour surveiller et orienter le comportement du système | S'il se met à mal se comporter, pouvons-nous le voir et l'arrêter ? |
| Véracité et robustesse | Obtenir des sorties correctes, même avec des entrées inattendues ou hostiles | A-t-il raison, et continue-t-il d'avoir raison sous pression ? |
| Gouvernance | Intégrer les bonnes pratiques dans la chaîne de valeur de l'IA, fournisseurs et déployeurs compris | Qui a validé, contre quelle politique, et est-ce auditable ? |
| Transparence | Permettre aux parties prenantes de faire des choix éclairés sur leur usage d'un système d'IA | Les personnes concernées savent-elles ce qu'est ce système et où sont ses limites ? |
Deux remarques. D'abord, ce n'est pas une checklist qu'on remplit une fois. AWS décrit un ensemble de dimensions à passer en revue systématiquement, et révise cet ensemble à mesure que l'IA change. Ensuite, le poids se déplace selon la technologie. La véracité compte plus pour l'IA générative que pour un classifieur, parce qu'un classifieur choisit dans un ensemble fixe d'étiquettes alors qu'un modèle de langage peut produire une réponse fluide, assurée et entièrement inventée.
Les frontières que l'examen teste vraiment
Quatre de ces dimensions sont assez proches pour que les questions de scénario se logent dans les écarts entre elles.
Explicabilité contre transparence. C'est la paire la plus mélangée. L'explicabilité porte sur une sortie précise : ce prêt a été refusé, et voici les variables qui ont pesé. La transparence porte sur le système entier : voici à quoi il sert, voici ce qu'il fait mal, voici le fait que vous parlez à une IA. Un modèle peut être très explicable pour votre équipe data science et complètement opaque pour le client qu'il a touché. Une AI Service Card est un artefact de transparence ; une attribution SHAP est un artefact d'explicabilité.
Sûreté contre véracité. La sûreté porte sur le préjudice : sortie nuisible, usage détourné, un chatbot qu'on convainc de donner des instructions qu'il devrait refuser. La véracité porte sur la vérité : réponses correctes, pas d'hallucinations. Les deux se séparent nettement. Un modèle qui refuse toute demande limite est sûr et peut se tromper sur celles auxquelles il répond. Un modèle qui donne des posologies médicales exactes est véridique et peut être dangereux à exposer au grand public.
Équité contre contrôlabilité. L'équité est une propriété des résultats. La contrôlabilité est une propriété de votre prise opérationnelle sur le système. Mesurer un écart d'équité sur lequel vous ne pouvez pas agir est un échec de contrôlabilité, pas d'équité. Un scénario qui dit "l'équipe a détecté le problème mais n'a pas pu ajuster ni désactiver le modèle" pointe vers la contrôlabilité.
Gouvernance contre transparence. La gouvernance est interne : politiques, comités de revue, validations, traçabilité de qui a approuvé quoi tout au long de la chaîne des fournisseurs et des déployeurs. La transparence est tournée vers l'extérieur : ce que les parties prenantes peuvent apprendre du système. Vous pouvez avoir une gouvernance lourde et zéro transparence.
L'autre vocabulaire de l'examen
Le guide de l'examen liste les caractéristiques de l'IA responsable ainsi : biais, équité, inclusivité, robustesse, sûreté et véracité. Ce n'est pas un cadre concurrent, c'est un sous-ensemble écrit en mots plus simples. Faites la correspondance une fois et cessez de vous inquiéter du décalage.
- Le biais est le mode de défaillance que la dimension équité existe pour attraper.
- L'équité est la dimension elle-même.
- L'inclusivité apparaît surtout comme une propriété des jeux de données et de ceux pour qui le système a été conçu. Elle alimente l'équité.
- La robustesse est la seconde moitié de véracité et robustesse.
- La sûreté et la véracité sont déjà des dimensions nommées.
Confidentialité et sécurité, contrôlabilité, gouvernance et transparence restent dans le périmètre du domaine 4 même si la liste courte du guide ne les répète pas.
Quel outil AWS pour quelle dimension
Nommer une dimension vaut peu si vous ne savez pas nommer ce que vous construiriez. Cette correspondance est ce que la leçon contient de plus rentable pour l'examen, parce que les questions du domaine 4 décrivent généralement une défaillance et demandent le correctif.
| Dimension | Outil ou pratique AWS | Ce qu'il fait |
|---|---|---|
| Équité | Amazon SageMaker Clarify | Mesure le biais dans le jeu de données avant l'entraînement et dans les prédictions après |
| Équité, véracité | SageMaker Model Monitor | Surveille la dérive de biais et la dérive de qualité après le déploiement |
| Sûreté, confidentialité | Amazon Bedrock Guardrails | Filtre contenus nuisibles, sujets interdits et informations sensibles au moment de l'inférence |
| Véracité | Vérifications d'ancrage contextuel et Automated Reasoning checks de Guardrails | Détecte les réponses non ancrées dans la source ou qui violent des règles logiques posées |
| Véracité | Model evaluation sur Amazon Bedrock | Note les modèles sur vos propres prompts et métriques avant que vous vous engagiez |
| Explicabilité | Attribution de variables SHAP de SageMaker Clarify | Attribue une prédiction aux variables qui l'ont provoquée |
| Transparence | AWS AI Service Cards, model cards | Publie cas d'usage prévus, limites et choix de conception |
| Contrôlabilité | Alertes Model Monitor vers Amazon CloudWatch, revue humaine avec Amazon A2I | Fait remonter la dérive et route les prédictions incertaines vers des personnes |
| Gouvernance | AWS Responsible AI Policy, processus de revue interne, fonctions ML governance | Pose les règles et enregistre qui a approuvé quoi |
Vous rencontrerez Clarify, Model Monitor, A2I et Guardrails en détail dans les trois prochaines leçons. Apprenez dès maintenant l'appariement des colonnes : c'est la forme de la plupart des questions du domaine 4.
Choisir un modèle de façon responsable
Le guide de l'examen place sous le développement responsable un point qui surprend : les considérations environnementales et de durabilité font partie de la décision de choix de modèle. Les recommandations AWS sur la durabilité des charges d'IA générative commencent par une question sans rapport avec la qualité du modèle.
Demandez d'abord si l'IA générative est la bonne solution. AWS prend l'exemple de la recherche : si un utilisateur cherche une information qui existe déjà, un moteur de recherche la retrouve avec beaucoup moins de ressources qu'un modèle génératif, conçu pour créer du contenu nouveau. Sortir un grand modèle de langage là où une recherche, une règle ou un petit classifieur suffirait, c'est le gaspillage que vise cette recommandation.
Ensuite, le principe est le bon dimensionnement plutôt que la maximisation :
- Choisissez un modèle dimensionné à la tâche au lieu du plus gros disponible. Le nombre de paramètres est un coût que vous payez à chaque requête.
- Réutilisez des modèles pré-entraînés et des approches de personnalisation légères plutôt qu'un entraînement depuis zéro, quand un chemin moins cher répond au besoin.
- Déployez avec une optimisation dynamique des ressources, c'est-à-dire auto-scaling et patterns serverless, pour ne pas payer l'énergie d'une capacité inactive.
Une convergence heureuse mérite d'être nommée ici : le choix durable et le choix économique sont généralement le même choix. Un modèle plus petit, à latence plus faible, sur une infrastructure dimensionnée, gagne sur le coût, sur le carbone et souvent sur l'expérience utilisateur.
Le choix responsable inclut aussi de lire ce que le fournisseur a publié. Une AI Service Card énonce les cas d'usage prévus et les limites d'un modèle. Retenir un modèle pour un usage que sa propre carte exclut est un échec d'IA responsable avant même la première requête servie.
Conseils pour l'examen
- Les mots "comprendre pourquoi cette sortie précise s'est produite" pointent vers l'explicabilité. Les mots "informer les personnes concernées sur le système" pointent vers la transparence. C'est la confusion la plus fréquente du domaine 4.
- "Même avec des entrées inattendues ou hostiles" est la formule signature de véracité et robustesse. Si une question l'emploie, ne répondez pas sûreté.
- "Surveiller et orienter", "ajuster ou désactiver" et "supervision humaine d'un système en production" pointent tous vers la contrôlabilité.
- L'impact environnemental et la durabilité font partie du périmètre d'examen du choix de modèle responsable, ce n'est pas un sujet annexe. Une option qui propose un modèle plus petit pour réduire la consommation d'énergie est souvent correcte plutôt que distractrice.
- AWS nomme huit dimensions et dit les mettre à jour dans le temps. Traitez comme fausse toute question qui laisse entendre que l'ensemble est figé et universel.
Ce qu'il faut retenir : l'IA responsable n'est pas une valeur qu'on affiche, c'est un ensemble de propriétés contre lesquelles on peut tester un système, une dimension à la fois, avec un outil nommé derrière chacune. La prochaine leçon s'attaque à la dimension qui échoue le plus souvent et le plus tôt, l'équité, en remontant à l'origine du biais : les données.