Dossier · Audit des systèmes d’IA

Preuves et échantillonnage dans l’audit d’un système d’IA

Une documentation complète ne prouve pas qu’un contrôle fonctionne. Une preuve utile relie une assertion, une population, une procédure reproductible, un résultat et les limites exactes de la conclusion.

Dans cette page

Assertion

Commencer par ce que la preuve doit pouvoir contredire

Une promesse comme « le système est supervisé » doit être décomposée. Qui intervient, sur quelles sorties, à quel moment, avec quelle information, quel pouvoir et quelle trace ? L’assertion devient alors testable : pour la population et la période définies, chaque sortie soumise à validation doit conserver l’identité du valideur, sa décision et la version examinée.

La chaîne de travail reste explicite : usage, risque, critère, population, procédure, résultat, conclusion, décision. Si une pièce ne soutient aucun maillon précis, elle documente le contexte mais ne suffit pas à établir l’assertion.

Population

Définir ce qui aurait pu être sélectionné

Un échantillon n’a de sens qu’après la population : période, versions, types de cas, utilisateurs, environnements et événements concernés. L’auditeur conserve ensuite la méthode de sélection, sa justification, les exclusions et les limites d’extrapolation.

Un système d’IA exige souvent plusieurs angles de sélection : cas nominaux, cas limites, conditions dégradées, exceptions métier, interventions humaines et sous-groupes exposés. Une moyenne globale peut rester stable pendant qu’un sous-ensemble critique se dégrade ; c’est pourquoi la stratification répond au risque, pas à une taille arbitraire.

Recevabilité

Distinguer une pièce disponible d’une preuve recevable

La disponibilité ne suffit pas. Une preuve est examinée selon quatre propriétés complémentaires : pertinence pour le critère, fiabilité de la provenance et de l’intégrité, suffisance de l’ensemble, reproductibilité de la procédure. La force attendue dépend du risque et du niveau d’assurance recherché.

Propriété	Question de contrôle	Défaillance typique
Pertinence	La pièce répond-elle à l’assertion et à la période ?	Politique générale utilisée pour conclure sur un cas précis
Fiabilité	Provenance, version et intégrité sont-elles établies ?	Capture d’écran sans source ni horodatage
Suffisance	L’ensemble couvre-t-il les risques et variantes utiles ?	Un seul cas nominal étendu à toute la population
Reproductibilité	Une autre équipe peut-elle rejouer la procédure ?	Paramètres, données ou environnement manquants

Rejeu

Conserver assez de contexte pour reproduire le résultat

Le dossier enregistre l’identifiant de la pièce, sa provenance, sa date, sa version et son responsable de conservation. Pour un test, il ajoute les données ou leur empreinte, les paramètres, l’environnement, le protocole, le résultat brut utile et l’incertitude. Une sortie isolée, même spectaculaire, ne permet pas de distinguer un comportement stable d’un accident de démonstration.

Limite

Ne jamais conclure au-delà de ce qui a été observé

La conclusion nomme la population, la période, les versions, les procédures et les accès couverts. Elle distingue ce qui est établi, ce qui reste interprété et ce qui n’a pas pu être vérifié. Une restriction d’accès, une dérive de version ou un sous-groupe absent devient une réserve visible ; elle ne disparaît ni dans une note moyenne ni dans une formule prudente.

Sources primaires

Sources sur lesquelles cette page s’appuie

Dernière revue documentaire : 5 septembre 2026.

ISO 19011:2018
Lignes directrices pour l’audit des systèmes de management : principes, programme, éléments probants.
GAO-21-519SP — Artificial Intelligence Accountability Framework
Cadre d’examen des systèmes d’IA organisé autour de la gouvernance, des données, de la performance et de la surveillance.
NIST AI RMF 1.0
Gouverner, contextualiser, mesurer et gérer les risques d’un système d’IA.

Avant de nous écrire

Questions fréquentes

Existe-t-il une taille d’échantillon valable pour tous les systèmes d’IA ?

Non. La sélection dépend de la population, de la décision, des risques, des sous-groupes, de la fréquence des exceptions et du niveau d’assurance recherché. La méthode et ses limites doivent être justifiées.

Une documentation fournisseur est-elle une preuve suffisante ?

Elle peut établir ce que le fournisseur déclare ou conçoit. Elle ne prouve pas seule la configuration, l’usage ni l’efficacité des contrôles dans l’environnement réellement exploité.

Dossier audit

Vos preuves permettent-elles de rejouer la conclusion ?

Décrivez l’assertion, la population et les traces disponibles. Nous identifions les procédures nécessaires et les limites prévisibles.

Présenter votre situation