En production
Assurance IA
en production
Repérer ce qui change.
Savoir quand intervenir.
Nous relions les signaux du système à une référence, à des limites approuvées et à une autorité capable de décider du maintien, de la restriction ou de l’arrêt.
Du signal à l’intervention
- ObserverUn signal
- QualifierSon effet
- DéciderUne action
La décision appartient à l’autorité habilitée.
Quand réexaminer le système
Le service évolue.
Sa maîtrise doit suivre.
La revue part d’un signal, d’un changement ou d’un incident. Sa fréquence dépend aussi du risque et de votre capacité de réaction.
Un signal se dégrade.
Qualité, disponibilité, sécurité ou retours d’utilisateurs : l’écart est comparé à la référence avant de conclure.
Le système change.
Nouvelle version, nouvelles données, autre usage ou fournisseur : nous vérifions si les conditions approuvées restent valables.
Un incident survient.
Les faits sont préservés, les effets contenus et les conditions de reprise soumises à l’autorité désignée.
Les signaux couvrent le service, ses opérateurs et ses effets, au-delà des seules performances du modèle.
Ce que vous recevez
Une référence pour comparer.
Des décisions pour agir.
Trois ensembles reliés : l’état approuvé, les contrôles en place et les décisions documentées.
-
Référence de production
Le service, ses versions, ses populations et ses limites approuvées, pour comparer ce qui change.
-
Registre des contrôles
Les signaux, les seuils, les responsables et les actions prévues lorsqu’une limite est franchie.
-
Dossier des décisions
Les résultats, les écarts, les décisions et les conditions de reprise, avec les preuves de clôture.
La chaîne de contrôle
Chaque alerte doit
pouvoir conduire à une action.
La référence, les seuils, l’action et la personne habilitée sont définis avant le déclenchement de l’alerte.
-
Observer
Collecter un signal traçable sur une population et une fenêtre définies.
-
Comparer
Confronter la mesure à la référence et à ses limites connues.
-
Qualifier
Apprécier la gravité, l’incertitude et l’étendue de l’effet.
-
Décider
Maintenir, restreindre ou arrêter par l’autorité habilitée.
-
Vérifier
Contrôler l’action, le risque résiduel et les conditions de reprise.
Ce qui constitue la référence
La référence est un état versionné, daté et accepté. Elle permet de savoir ce qui a changé et si les résultats observés restent comparables.
- Service
- finalité, décision assistée et résultat attendu.
- Configuration
- modèle, données, prompts, règles, interfaces et dépendances.
- Périmètre
- utilisateurs, populations, canaux, régions et cas autorisés.
- Performance
- métriques métier et techniques avec protocole de mesure.
- Limites
- mésusages prévisibles, exclusions et conditions dégradées.
- Autorité
- personnes habilitées à restreindre, arrêter et autoriser la reprise.
Les domaines surveillés
Nous sélectionnons les signaux à partir des risques et de la finalité. Chaque domaine peut combiner mesures automatisées, échantillonnage, revue humaine, retours d’utilisateurs et événements externes.
- Fonction
- qualité du résultat au regard du service attendu.
- Exploitation
- disponibilité, latence, capacité et mode dégradé.
- Humain
- corrections, recours, contournements et charge de supervision.
- Sécurité
- accès, attaques, mésusages, secrets et chaîne de dépendance.
- Conformité
- instructions d’usage, journaux, contrôles et obligations applicables.
- Effets
- dommages, différences de traitement et conséquences inattendues.
Une moyenne globale peut masquer un défaut concentré sur une population critique. Les résultats restent segmentés lorsque le risque l’exige.
Les décisions possibles
Maintenir, restreindre
ou arrêter.
Votre autorité compétente décide sur les preuves, leur incertitude et le risque résiduel.
Maintenir
Le service reste dans son périmètre approuvé. Les réserves sont documentées et attribuées.
Restreindre
L’usage, la population ou la version sont limités jusqu’à vérification des conditions de retour.
Arrêter
Le système passe dans l’état sûr défini : mode manuel, retour arrière, suspension ou retrait.
La reprise nécessite une vérification et une autorisation explicites. Aucun verdict automatique.
Changements et incidents
Corriger en conservant
les faits et la traçabilité.
Le traitement protège le service et préserve les éléments nécessaires pour comprendre ce qui s’est produit.
Vérifier un changement avant diffusion
Un modèle inchangé ne garantit pas un service inchangé. Une modification des données, du prompt, de l’interface, d’une règle métier, d’un fournisseur, d’une population ou de la supervision peut invalider la référence.
- Composant ou version
Le comportement ou la chaîne d’exécution change-t-il ?
Preuve attendue : manifeste, tests ciblés et décision de diffusion.
- Données ou population
La référence reste-t-elle représentative ?
Preuve attendue : profil comparé, limites et nouveau seuil si nécessaire.
- Usage ou interface
La décision humaine ou l’effet métier est-il modifié ?
Preuve attendue : parcours testé, autorité informée et consignes mises à jour.
- Fournisseur ou contrat
Les accès, journaux, limites ou recours changent-ils ?
Preuve attendue : analyse d’impact, test de continuité et acceptation du résidu.
Traiter un incident et autoriser la reprise
La vitesse de réaction ne doit pas détruire les éléments nécessaires pour comprendre l’événement. Le circuit d’incident sépare la protection immédiate, l’établissement des faits, la qualification réglementaire, la correction et l’autorisation de reprise.
- Détecter
- horodater le signal et identifier sa source.
- Préserver
- figer journaux, versions, entrées et sorties utiles.
- Contenir
- protéger les personnes et limiter ou suspendre l’usage.
- Qualifier
- apprécier l’étendue, la gravité et le lien causal.
- Informer
- activer les circuits internes, contractuels et réglementaires applicables.
- Corriger
- documenter la cause, l’action et le test de non-régression.
- Reprendre
- soumettre le test et le risque résiduel à l’autorité habilitée.
AI Act, références et dossier technique
Pour les systèmes d’IA à haut risque, les obligations dépendent du rôle réel de chaque entité et des faits. La méthode conserve cette distinction dans les contrôles et dans les circuits d’information.
- Article 26 — Obligations du déployeur d’un système à haut risque
- Suivre le fonctionnement selon les instructions, conserver les journaux sous son contrôle et informer ou suspendre lorsque les conditions sont réunies.
- Article 72 — Surveillance post-commercialisation du fournisseur
- Collecter, documenter et analyser activement les données pertinentes pendant la durée de vie du système, selon un plan documenté.
- Article 73 — Signalement des incidents graves
- Qualifier le circuit, préserver l’enquête et respecter les délais applicables à la situation.
Cette lecture technique ne constitue ni une qualification juridique du système, ni un avis juridique. Le rôle, la catégorie et les autres textes applicables doivent être établis pour chaque cas.
- AI Act — texte consolidé, articles 9, 26, 72 et 73
Gestion continue des risques, devoirs du déployeur, surveillance post-commercialisation et signalement des incidents graves.
- NIST AI 800-4 — Challenges to the Monitoring of Deployed AI Systems
Catégories de surveillance et difficultés de mesure des systèmes d’IA dans leurs conditions réelles d’exploitation.
- NIST AI RMF 1.0
Gouverner, contextualiser, mesurer et gérer les risques d’un système d’IA.
- ANSSI — Sécurité d’un système d’IA générative
Architecture, cycle de vie, dépendances, tests avant production et journalisation.
Questions fréquentes
Avant de nous écrire.
Un tableau de bord suffit-il pour surveiller un système d’IA ?
Non. Il affiche des signaux. L’assurance exige en plus une référence de production, des seuils acceptés, un responsable et une décision prévue lorsque ces seuils sont franchis.
Quand faut-il réévaluer le système ?
À la fréquence fixée par le niveau de risque, et après tout changement significatif de modèle, de données, d’usage, d’interface ou de fournisseur, ainsi qu’après un incident ou un dépassement de seuil.
Qui porte la surveillance prévue par l’AI Act ?
Le rôle doit d’abord être qualifié. Pour un système à haut risque, l’article 72 organise la surveillance post-commercialisation du fournisseur ; l’article 26 prévoit des devoirs de suivi et d’information pour le déployeur.
Cadrer la revue
Quel signal
vous préoccupe ?
Présentez le système, sa version et le signal qui vous préoccupe. Nous identifions la première preuve à établir et l’autorité à réunir.
Cadrer la revueAucun document sensible nécessaire à ce stade.