Assurance IA en production
Relier signaux, seuils et autorité de décision
Construire des contrôles où chaque alerte correspond à un risque, une population, une action et une personne réellement habilitée.
Contrôle
Un indicateur devient utile lorsqu’il change une conduite
Un tableau de bord peut décrire le passé sans protéger le service. Un contrôle nomme le risque recherché, le signal, la population, la fenêtre, la référence, le seuil, l’autorité, l’action et la preuve de clôture. S’il manque l’autorité ou l’action, il s’agit d’une observation.
Signal
Vérifier la qualité de l’observation avant sa valeur
Le signal doit être disponible à temps, relié à la bonne version et assez sensible au dommage recherché. Nous examinons les données manquantes, les retards, les biais de sélection, les petits volumes, le bruit et les possibilités de contournement.
Seuil
Fonder la limite sur le risque, pas sur la facilité de mesure
Un seuil explicite comprend la métrique ou la condition, la population, la fenêtre, la référence, l’incertitude et la décision associée. Les niveaux de pré-alerte, de restriction et d’arrêt ne sont pas obligatoirement numériques : une version inconnue ou l’impossibilité d’interrompre le système peut être une condition critique.
Cadence
Adapter la fréquence au délai tolérable avant dommage
La cadence dépend de la vitesse à laquelle le risque apparaît et du temps nécessaire pour agir. Disponibilité, intégrité de version ou sécurité peuvent exiger un contrôle continu ; une analyse de qualité peut être réalisée par lot ; un changement ou un incident déclenche une revue événementielle ; les effets contextuels peuvent nécessiter une appréciation humaine.
Autorité
Écrire qui peut limiter avant que le seuil soit franchi
La matrice de décision distingue qui reçoit l’alerte, qui qualifie, qui décide, qui exécute et qui contrôle la reprise. L’autorité doit disposer de la compétence, du support et de l’accès nécessaires. Une astreinte sans pouvoir d’arrêt ne constitue pas une autorité.
Décision
Maintenir, restreindre ou arrêter avec un périmètre précis
Maintenir peut inclure une surveillance renforcée datée. Restreindre précise la fonction, la population, le canal, la région, la version ou le volume concernés. Arrêter mène à l’état sûr défini. Chaque décision indique son motif, sa durée, son risque résiduel et le test de sortie.
Trace minimale de la décision
| Décision | Périmètre à écrire | Condition de sortie |
|---|---|---|
| Maintenir | Version et réserves acceptées | Réexamen ou signal défini |
| Restreindre | Capacité ou population effectivement limitée | Test de retour et autorité |
| Arrêter | État sûr et opérations suspendues | Correction, non-régression et reprise autorisée |
Maintenir
- Périmètre à écrire
- Version et réserves acceptées
- Condition de sortie
- Réexamen ou signal défini
Restreindre
- Périmètre à écrire
- Capacité ou population effectivement limitée
- Condition de sortie
- Test de retour et autorité
Arrêter
- Périmètre à écrire
- État sûr et opérations suspendues
- Condition de sortie
- Correction, non-régression et reprise autorisée
Validation
Éprouver le circuit avant l’incident
Nous injectons un signal synthétique ou rejouons un événement connu pour vérifier la détection, l’escalade, l’exécution de la restriction et la conservation de la preuve. L’exercice mesure aussi les délais réels et les points de défaillance humains ou techniques.
Sources et références
- AI Act — texte consolidé, articles 9, 26, 72 et 73 (nouvel onglet)
Gestion continue des risques, devoirs du déployeur, surveillance post-commercialisation et signalement des incidents graves.
- NIST AI 800-4 — Challenges to the Monitoring of Deployed AI Systems (nouvel onglet)
Catégories de surveillance et difficultés de mesure des systèmes d’IA dans leurs conditions réelles d’exploitation.
- NIST AI RMF 1.0 (nouvel onglet)
Gouverner, contextualiser, mesurer et gérer les risques d’un système d’IA.
- ANSSI — Sécurité d’un système d’IA générative (nouvel onglet)
Architecture, cycle de vie, dépendances, tests avant production et journalisation.
Questions fréquentes
Un seuil doit-il toujours être numérique ?
Non. Une version inconnue, un journal absent ou l’impossibilité d’arrêter le système peuvent constituer des conditions critiques.
Existe-t-il une cadence standard de surveillance ?
Non. Elle dépend de la vitesse du risque, du délai tolérable avant dommage, du temps de réaction et des obligations applicables.
Comment vérifier qu’un contrôle fonctionne ?
En injectant un signal ou en rejouant un cas connu, puis en observant la détection, l’escalade, la décision, l’action et la preuve de clôture.
Chaîne de décision
Quelle alerte ne déclenche aujourd’hui aucune action ?
Présentez le signal, le risque et le circuit actuel. Nous identifions le maillon qui empêche une décision exécutable.