Toutes les analyses

Essai · mise en production

Contre le théâtre de l’IA

Une démonstration peut être honnête, impressionnante et inutile pour décider d’une mise en production. Elle ne teste pas le même système. Voici ce que j’exige à la place, et pourquoi.

La troisième question

L’IA en entreprise a traversé trois questions. La première : est-ce que ça marche ? La deuxième : peut-on le mettre en production ? La troisième : peut-on défendre ce qu’on a construit ? L’AI Act prévoit des amendes allant jusqu’à 7 % du chiffre d’affaires mondial pour les pratiques interdites et jusqu’à 3 % pour d’autres manquements (règlement (UE) 2024/1689, article 99). Une enquête Gartner publiée en mai 2024 indique qu’en moyenne 48 % des projets d’IA atteignent la production. Dans une étude conjointe MIT SMR–BCG de 2020, 11 % des organisations interrogées déclaraient des bénéfices financiers significatifs liés à l’IA.

La plupart des organisations ne sont pas prêtes pour la troisième question. Elles ont accumulé des systèmes, des frameworks, des déclarations et des decks de gouvernance. Elles n’ont pas accumulé de preuves. Quand un incident survient, qu’un régulateur pose une question précise ou qu’un administrateur demande « comment le savez-vous ? », l’écart entre la posture et la réalité s’ouvre. J’appelle cet écart le théâtre de l’IA.

Le théâtre commence quand une affirmation n’a plus de propriétaire

« Le système est fiable. » « Les données restent sous contrôle. » « Un humain supervise. » « Nous pouvons changer de fournisseur. » Ces phrases deviennent du théâtre dès qu’aucun responsable ne peut montrer le critère appliqué, la version examinée, le test réalisé et la décision prise en cas d’échec. Le problème n’est pas la communication ; c’est la rupture entre l’affirmation et le système réel.

Un comité peut se réunir régulièrement, produire des comptes rendus et signer une politique sans qu’aucune décision n’entre dans le workflow d’ingénierie. Tant que rien ne modifie le système en production, la gouvernance reste documentaire.

La démonstration répond à une question trop étroite

Elle montre qu’un parcours choisi peut réussir sur une version donnée, avec des données préparées et une personne qui sait quoi demander. C’est une information utile, mais locale. La production pose d’autres questions : que se passe-t-il quand l’entrée est ambiguë, le fournisseur indisponible, le coût dépassé, le droit d’accès erroné, ou la réponse contestée par la personne qu’elle concerne ?

Le système exploité dépasse toujours le modèle présenté. La qualité finale dépend aussi de l’interface, des identités, des données, de la recherche documentaire, des outils appelés, des règles, des fournisseurs et des personnes chargées de superviser. Évaluer le modèle seul revient à contrôler un composant et à conclure sur le service entier.

Ce que j’exige avant une mise en production

D’abord, l’enveloppe d’exploitation, écrite avant les métriques : l’usage autorisé, les utilisateurs, les données admises, les décisions concernées, les limites connues et les conditions de recours humain. Sans elle, un bon résultat sera étendu à une population, une décision ou une charge que personne n’a évaluées.

Ensuite, une campagne qui cherche les ruptures, pas les confirmations : donnée absente, entrée ambiguë, permission incorrecte, fournisseur indisponible, interface modifiée, charge inhabituelle, réponse contestée. Chaque épreuve doit produire un comportement observé, un journal exploitable et l’escalade attendue. Le meilleur parcours est déjà connu ; ce sont les ruptures qu’on ignore.

Enfin, la preuve que chaque contrôle fonctionne, pas seulement qu’il existe. Un bouton d’arrêt, un comité, un journal peuvent exister sans protéger personne. Le test vérifie que le signal est détecté, qu’il atteint la bonne personne, que cette personne comprend, dispose de l’autorité nécessaire et agit dans le délai prévu.

Une capture d’écran illustre un comportement. Elle ne prouve pas l’exploitabilité, et encore moins une décision de mise en production.

Aucun passage sans une personne capable de dire non

La porte de production réunit la version candidate, les résultats d’essai, les écarts, les risques résiduels, les contrôles, les procédures d’incident et le retour arrière. Le responsable ne valide pas une présentation ; il accepte un état précis du système et les conséquences de sa mise en service. Après l’autorisation, les métriques, changements et incidents restent reliés à des seuils et à des décisions de restriction, de reprise ou d’arrêt.

Rien de tout cela n’est nouveau. Les institutions financières opèrent sous cette discipline depuis des décennies ; les fabricants pharmaceutiques et les opérateurs nucléaires aussi. La question est de savoir si les systèmes d’IA seront tenus au même standard, et qui sera prêt à le livrer en profondeur opérationnelle.

Ce à quoi TRARDI Group s’engage

Cet essai n’est pas un pitch ; c’est un contrat. Nous nous engageons à des missions dans lesquelles chaque affirmation peut être tracée jusqu’à un artefact, chaque posture jusqu’à un test, chaque principe jusqu’à un contrôle. Nous refusons de nous présenter comme certificateur, de réduire la conformité au travail documentaire, et de livrer un système que nous ne saurions pas expliquer aux personnes qui en dépendront. Si ce standard est celui sous lequel vous voulez opérer, la conversation sera courte. Ce que nous ne pouvons pas faire, c’est aider à continuer le théâtre.

Sources et références

Questions fréquentes

Quelle différence entre démonstration, pilote et production ?

La démonstration vérifie un parcours choisi. Le pilote confronte une hypothèse à un périmètre borné et à des utilisateurs réels. La production exige en plus des responsabilités, une exploitation, une surveillance, une continuité et une décision de mise en service.

Une démonstration peut-elle fournir des preuves utiles ?

Oui, si la version, les données, la procédure et les limites sont conservées. Cette preuve reste limitée à la question effectivement testée et ne doit pas être étendue à l’exploitabilité du service.

Comment distinguer une politique d’un contrôle effectif ?

La politique formule une règle. Le contrôle effectif possède un déclencheur, un responsable, une fréquence, un résultat attendu et une preuve observable. Son efficacité doit pouvoir être éprouvée en situation.

Passer du théâtre à la preuve

Où votre posture IA est-elle prouvable, et où ne l’est-elle pas ?

Un premier échange pour cartographier ce qui est démontrable aujourd’hui et ce qui ne l’est pas. Sans présentation, sans document sensible.

Présenter votre situation