Assurance IA en production
Établir une référence de production exploitable
Décrire l’état réellement approuvé du service pour que toute variation future puisse être interprétée, attribuée et décidée.
Définition
La référence décrit un service, pas un fichier modèle
Une référence de production relie une finalité, une version exécutée, une population, une période d’observation, des conditions d’usage et des responsables. Elle inclut les composants qui transforment l’entrée en décision ou en action : données, règles, prompts, interfaces, contrôles humains, services tiers et mécanismes de reprise.
Identité
Rendre la version exécutée incontestable
L’inventaire rapproche ce qui a été approuvé, déployé et observé. Chaque exécution critique doit pouvoir être reliée aux artefacts pertinents.
Contexte
Définir la population et la fenêtre avant de calculer
Un taux n’est interprétable que si son dénominateur, sa population et sa fenêtre sont connus. La référence précise les usages inclus, les exclusions, les segments critiques, les faibles volumes et la conduite à tenir lorsqu’une donnée manque.
Mesures
Choisir des métriques reliées à un risque et à une décision
Les mesures associent une performance métier à la qualité du système, aux facteurs humains, à la sécurité et aux effets. Nous conservons le protocole, l’échantillon, l’évaluateur, l’incertitude et les limites de généralisation.
Structure d’une mesure de référence
| Champ | Question à résoudre | Trace attendue |
|---|---|---|
| Finalité | Quel service la mesure représente-t-elle ? | Objectif et décision assistée |
| Population | Sur quels cas la valeur est-elle valide ? | Segments, exclusions et volume |
| Méthode | Comment la valeur est-elle produite ? | Calcul, échantillon ou protocole de revue |
| Limite | Qu’est-ce que cette valeur ne démontre pas ? | Incertitude et conditions de validité |
Finalité
- Question à résoudre
- Quel service la mesure représente-t-elle ?
- Trace attendue
- Objectif et décision assistée
Population
- Question à résoudre
- Sur quels cas la valeur est-elle valide ?
- Trace attendue
- Segments, exclusions et volume
Méthode
- Question à résoudre
- Comment la valeur est-elle produite ?
- Trace attendue
- Calcul, échantillon ou protocole de revue
Limite
- Question à résoudre
- Qu’est-ce que cette valeur ne démontre pas ?
- Trace attendue
- Incertitude et conditions de validité
Limites
Écrire l’état dégradé avant d’en avoir besoin
La référence fixe les conditions où le service reste acceptable, devient restreint ou doit passer en état sûr. L’état sûr peut être un mode manuel, une version antérieure, une capacité réduite ou une suspension. Sa faisabilité doit être testée ; une option théorique n’est pas une capacité.
Approbation
Faire signer la référence par les fonctions qui portent ses effets
Le propriétaire métier valide le service et les limites ; les responsables techniques attestent la version et la capacité d’action ; les fonctions risque, sécurité, données ou juridiques interviennent selon le cas. L’approbation nomme aussi qui peut modifier la référence.
Révision
Créer une nouvelle référence lorsque la comparaison n’est plus valide
Une modification de finalité, population, modèle, données, interface, fournisseur, règle ou supervision peut exiger une nouvelle référence. La précédente reste conservée afin de reconstituer la transition, les tests et la décision.
Sources et références
- AI Act — texte consolidé, articles 9, 26, 72 et 73 (nouvel onglet)
Gestion continue des risques, devoirs du déployeur, surveillance post-commercialisation et signalement des incidents graves.
- NIST AI 800-4 — Challenges to the Monitoring of Deployed AI Systems (nouvel onglet)
Catégories de surveillance et difficultés de mesure des systèmes d’IA dans leurs conditions réelles d’exploitation.
- NIST AI RMF 1.0 (nouvel onglet)
Gouverner, contextualiser, mesurer et gérer les risques d’un système d’IA.
- ANSSI — Sécurité d’un système d’IA générative (nouvel onglet)
Architecture, cycle de vie, dépendances, tests avant production et journalisation.
Questions fréquentes
Une référence de production se limite-t-elle au modèle ?
Non. Elle couvre le service socio-technique : modèle, données, règles, interfaces, dépendances, population, contrôles humains et état sûr.
Quand faut-il créer une nouvelle référence ?
Lorsque la finalité, la population, la version, les données, l’interface, le fournisseur ou la supervision rendent l’ancienne comparaison invalide.
Qui approuve la référence ?
Les fonctions qui portent le service et ses effets : propriétaire métier, responsables techniques et fonctions risque, sécurité, données ou juridiques selon le cas.
Référence de production
Pouvez-vous identifier exactement ce qui tourne ?
Présentez la version et le service attendu. Nous vérifions si la référence permet déjà de comparer, décider et reprendre.