Dépouiller les questionnaires de satisfaction avec l'IA et en tirer une preuve d'amélioration continue

Une IA classe correctement des verbatims en thèmes et fait remonter les irritants récurrents d'une pile de questionnaires. La preuve attendue en audit ne porte pas sur ce classement, elle porte sur les décisions que vous avez prises ensuite et sur leur trace.

La pile de questionnaires et la moyenne qui ne prouve rien

Cent quatre-vingts questionnaires. Une partie sur papier, ramassée en fin de session et rangée par ordre chronologique dans un classeur. Une partie dans un formulaire en ligne, exportée une fois, jamais relue. Sur la plaquette commerciale figure une moyenne de satisfaction flatteuse, calculée sur la seule question de recommandation.

Le référentiel national qualité distingue trois choses :

• le recueil des appréciations des bénéficiaires, des financeurs, des équipes pédagogiques et des entreprises concernées
• le traitement des difficultés rencontrées, des réclamations exprimées et des aléas survenus
• la mise en œuvre de mesures d'amélioration à partir de l'analyse de ces retours

Le travail utile consiste donc à extraire de la matière verbale ce qui revient, et à en tirer des décisions datées. C'est un travail de lecture répétitive sur des textes courts, et c'est un bon terrain pour un modèle de langage, à condition de ne jamais lui confier le comptage ni la conclusion.

La méthode en cinq temps

Normaliser d'abord. Les questionnaires papier se saisissent, verbatim par verbatim, dans un tableau à quatre colonnes : identifiant de session, date, question, texte de la réponse. La saisie est fastidieuse et elle conditionne tout le reste, parce qu'un modèle ne lit pas correctement une photographie de dix questionnaires manuscrits empilés.

Laisser les thèmes émerger. Fournissez un lot de verbatims et demandez une proposition de catégories issues des textes eux-mêmes, sans liste imposée. Les catégories que vous auriez choisies d'avance orientent le résultat vers ce que vous cherchez déjà. Les catégories issues des textes font apparaître ce que vous n'attendiez pas, et c'est précisément la valeur de l'exercice. Vous arbitrez ensuite la liste, vous la figez, et vous ne la rediscutez plus.

Classer, puis recompter à part. Le modèle attribue une ou plusieurs catégories à chaque verbatim, dans une colonne supplémentaire du tableau. Le comptage par catégorie se fait dans un tableur, jamais par le modèle. Un modèle de langage estime des totaux au lieu de les calculer, et l'écart passe inaperçu parce que le chiffre rendu est vraisemblable.

Extraire les verbatims négatifs à l'identique. Demandez les citations mot pour mot, sans reformulation, avec l'identifiant de la ligne. C'est cette matière brute qui vous servira.

Écrire soi-même la décision. Le tableau qui fait preuve comporte quatre colonnes : le constat, sa source, la décision prise, la date d'effet. La quatrième colonne est celle qu'un auditeur regarde, et aucun modèle ne peut la remplir à votre place puisqu'elle décrit ce que vous avez fait.

Où le modèle se trompe sur des verbatims

Il compte faux. Le défaut à connaître avant tous les autres. Interrogé sur le nombre de verbatims mentionnant les locaux, un modèle rend un nombre plausible et souvent inexact. Chaque chiffre qui entrera dans votre rapport se calcule hors du modèle.

Il adoucit la critique. Un verbatim brutal ressort reformulé en observation mesurée. « On n'a rien compris à la deuxième journée » devient « la deuxième journée mériterait une progression plus graduelle ». Le sens change, l'intensité disparaît, et vous perdez le signal qui aurait justifié une décision.

Il fusionne des thèmes distincts. Les remarques sur la salle, sur le matériel et sur le déjeuner finissent dans une catégorie unique nommée logistique. Or l'une relève de votre prestataire de salle, l'autre de votre équipement, la troisième de personne. Une catégorie fourre-tout ne débouche sur aucune décision.

Il lit mal l'ironie et la litote. « Formateur très disponible, quand il était là » ressort classé en positif. Sur des questionnaires français, l'understatement et la formule polie sont fréquents, et la tonalité attribuée par un modèle mérite un contrôle sur un échantillon.

Il corrige l'orthographe et efface le sens. Les questionnaires manuscrits contiennent des abréviations, des mots régionaux, des tournures propres à un métier. Un modèle les normalise et transforme parfois un terme technique en mot courant, ce qui fait disparaître l'information.

Il invente des exemples représentatifs. Demandez « trois verbatims typiques de cette catégorie » et vous recevrez parfois des phrases synthétiques qui ne figurent dans aucun questionnaire. Elles sont crédibles et elles n'existent pas. Ne demandez jamais des exemples représentatifs, demandez des citations avec leur identifiant de ligne.

Le contrôle qui rend l'analyse défendable

Un seul contrôle suffit et il est mécanique : chaque verbatim cité dans votre rapport doit être retrouvable à l'identique dans le fichier source, par une recherche de texte exacte. Si la recherche ne trouve rien, la citation a été reformulée ou fabriquée, et elle sort du rapport.

Le second contrôle porte sur le classement. Reprenez à la main un échantillon de trente verbatims et vérifiez la catégorie attribuée. Un taux d'erreur de classement de l'ordre de quelques pour cent est acceptable pour dégager des tendances. Un taux plus élevé signale que vos catégories se recouvrent et qu'il faut les redéfinir avant de continuer.

Les questionnaires contiennent des données personnelles

Un questionnaire de satisfaction est rarement anonyme en pratique. Il porte souvent le nom du stagiaire, celui de son entreprise, sa fonction, et il est rattaché à une session dont la liste de participants existe par ailleurs.

Avant tout envoi, trois colonnes disparaissent : nom, entreprise, fonction. Cela ne suffit pas toujours. Un verbatim peut réidentifier son auteur à lui seul, par exemple lorsqu'une personne est la seule du groupe à travailler de nuit, la seule apprentie, ou la seule à avoir demandé un aménagement. Les verbatims de ce type se traitent hors outil.

Un point mérite une attention particulière : les questionnaires qui portent sur un formateur nommément désigné. Le retour devient une donnée relative à un salarié ou à un intervenant, avec des conséquences possibles sur sa relation de travail. Ces retours ne partent pas vers un service en ligne, et ils se traitent dans le cadre prévu pour les données du personnel. La même prudence s'applique à toute mention de santé, de handicap ou de situation personnelle qu'un stagiaire aurait écrite dans un champ libre.

Ce qui transforme l'analyse en preuve

La preuve tient dans l'enchaînement, pas dans le volume. Un constat, sa source, une décision, une date, puis la trace de la mise en œuvre à la session suivante. Trois décisions réellement appliquées valent mieux que quinze actions listées et jamais engagées.

Deux honnêtetés servent en audit. La première consiste à afficher une action comme en cours quand elle l'est, avec son échéance, plutôt que de la présenter comme réalisée. La seconde consiste à documenter les retours auxquels vous avez décidé de ne pas donner suite, avec le motif. Une demande de raccourcir une formation dont la durée est imposée par le référentiel de certification se refuse, et écrire ce refus montre que le circuit fonctionne.

Le recueil ne se limite pas aux stagiaires. Les appréciations des financeurs, des entreprises clientes et des intervenants entrent dans le même circuit, et ce sont souvent les plus faciles à oublier parce qu'elles arrivent par courriel au fil de l'eau.

Situer votre organisme et compléter le dossier

Les retours internes se lisent mieux avec un point de comparaison externe. Notre baromètre Qualiopi donne le taux de certification des organismes de formation par département et par région, calculé depuis la liste publique du ministère du Travail. Pour le reste du dossier, nos guides pratiques détaillent les mentions attendues sur chaque document et les outils du site les produisent à partir de vos données.