L'humain comme garde-fou
Où placer les gens dans un système agentique
« Human in the loop », un humain dans la boucle, c'est la phrase la plus répétée en IA en ce moment, et elle veut souvent dire une case à cocher. Quelqu'un doit approuver chaque étape, comme ça rien de grave ne peut arriver.
C'est comme ça que je l'ai bâti au début. Ça ne marche pas.
Le goulot, c'était moi
Après quelques mois à faire rouler l'entreprise avec des agents, je leur ai demandé d'auditer le flux des décisions. Le délai médian entre le moment où un agent me posait une question bloquante et celui où la réponse était inscrite : huit jours de calendrier.
Les plus lentes n'étaient pas des décisions difficiles. C'étaient des approbations d'un mot sur du travail déjà spécifié et déjà testé. « Oui, fusionne. » « Oui, relance. » Je devais y revenir plus tard, et plus tard, c'était une semaine.
Chacune de ces approbations donnait une impression de sécurité. Ensemble, c'était le plus gros frein de tout le système. Un humain qui doit cliquer sur tout ne supervise pas. C'est une file d'attente.
Des garde-fous, pas des cases à cocher
La solution a été d'arrêter de demander où un humain devrait approuver, et de demander plutôt où un humain doit décider. Ce sont deux listes très différentes.
Il y a des choses qu'aucun agent ne décide dans notre système, jamais :
- L'argent. Toute dépense, changement de prix, rabais ou engagement.
- Tout ce qui sort. Un courriel, une publication, un message à un client ou à un partenaire, tout ce qui est publié.
- Les nouveaux publics ou les nouvelles campagnes. À qui on parle, c'est une décision d'affaires, pas un détail d'exécution.
- Le consentement et la base légale. Ce qu'on a le droit de faire avec les données de quelqu'un.
- La preuve. Les journaux, registres et résultats de tests ne sont jamais modifiés pour faire passer quelque chose.
Ce sont les garde-fous. L'humain se tient là, et rien ne passe sans lui.
Tout le reste peut avancer sans moi, mais seulement quand cinq conditions sont réunies en même temps. Le comportement a déjà été décidé. On peut revenir en arrière sans moi. Les tests passent et l'état final a été vérifié, pas juste le code de sortie. Rien ne sort de la maison. C'est écrit le jour même, avec la façon de revenir en arrière. Si une seule des cinq est incertaine, l'agent demande.
Cette seule page a vidé la majeure partie de la file du jour au lendemain, et le système est devenu plus sûr, pas plus risqué, parce que les règles sont explicites au lieu de dépendre de mon humeur du jour.
La révision n'a pas à être humaine
Sur un projet logiciel, le code est maintenant livré par révision automatisée. Un agent bâtit, un autre critique, un autre relit le résultat à froid, la suite de tests doit passer, et chaque changement peut être annulé. Aucun humain ne clique « approuver » sur une pull request.
Ça fait peur, jusqu'à ce qu'on regarde ce qu'une révision humaine fatiguée attrape vraiment à 23 h. Ce que j'ai gardé pour moi, c'est le moment de la mise en ligne. La machine propose le moment, je réponds oui ou pas maintenant. Ça, c'est un garde-fou. Lire des diffs à minuit, c'était une case à cocher.
La forme de la question
Quand une décision se rend jusqu'à moi, le format compte autant que la règle. Les agents m'apportent des options, pas des questions ouvertes. Deux ou trois choix, dont un recommandé, avec la raison en une phrase. Je réponds avec un chiffre, sur mon téléphone, dans le canal où je suis déjà.
Une question ouverte me coûte vingt minutes de réflexion. Une bonne liste d'options me coûte dix secondes, parce que la réflexion a été faite avant que ça m'arrive.
Où placer les gens
Donc la réponse à « où placer les gens dans un système agentique », ce n'est pas « partout, au cas où ». C'est aux garde-fous : l'argent, la réputation, les autres personnes, la loi et la vérité du registre. Là, l'humain n'est pas une formalité. C'est la raison pour laquelle on peut faire confiance au système pour rouler seul le reste du temps.
L'humain garde la porte. Tout le reste devrait couler.