Repérer les réponses coordonnées au questionnaire du gouvernement dans le cadre du Grand “débat”

Josquin Debaz

Sur ce carnet, nous aurons l’occasion de mettre en avant quelques lectures de l’organisation par le gouvernement d’une consultation de grande ampleur et des données textuelles qu’elle génère, mais aussi des rencontres et propositions alternatives visant à contrer ou atténuer la centralisation du dispositif. Dans ce billet, je propose de défricher rapidement une première question : Comment traiter les réponses déposées sur la plateforme granddebat.fr ?

Dans le cadre du Grand “débat”, de nombreux avis citoyens vont être exprimés, et des réponses sont d’ores et déjà disponibles, téléchargeables en csv ou ndjson sur https://granddebat.fr/pages/donnees-ouvertes. Un premier dump avait été mis à disposition plus rapidement par Code for France, association qui attire également l’attention sur le manque d’ouverture de la plateforme elle-même, avec sa tribune “Ouvrons grand le débat“.

L’anonymisation des réponses (elles ne sont contextualisées que par le code postal déclaré, ainsi que la date et heure de validation du formulaire) fait que contrairement à un mode de traitement courant d’un questionnaire, il est très délicat d’en inférer des interprétations plus générales. Il est d’usage d’interroger un petit nombre de personnes pour rapporter leurs réponses à celles que devraient donner un plus grand nombre de personnes. Pour cela les premières doivent constituer un ensemble représentatif des secondes. C’est-à-dire qu’on suppose que la diversité et la proportion des réponses seront constantes, du moment que la diversité et la proportion des personnes sont respectées. Ici, on n’a pas interrogé un panel constitué comme tel et on ne peut pas vérifier qu’il est représentatif de la population française ou d’un sous-groupe, puisqu’on n’a pas d’indication qui permettrait de le vérifier (âge, sexe, profession, etc.). Les réponses ne sont donc interprétables que… comme la parole de ceux qui ont répondu. Même s’ils sont nombreux.

L’exercice proposé par le gouvernement se compose de questions fermées (on a un choix prédéterminé de réponses possibles), ce qui est plus simple pour la synthèse, et de questions ouvertes (on peut y mettre le texte qu’on veut), ce qui est déjà plus intéressant pour un “débat”, même si celui-ci est ici cadré par les questions proposées. Mais c’est pour le traitement des réponses ouvertes que la chose se complique : qui va lire, interpréter, catégoriser, synthétiser les centaines de milliers de textes produits en un temps record ? La tentation de réduire la lecture à un simple repérage des mots les plus fréquents est grande mais loin d’être satisfaisante, autant pour ceux qui ont pris le temps d’argumenter leurs réponses, que pour ceux qui doivent les prendre en compte politiquement, et bien sûr, pour les chercheurs.

Prenons la question “Pour quelle(s) politique(s) publique(s) ou pour quels domaines d’action publique, seriez-vous prêts à payer plus d’impôts ?” : sur 64 923 répondants au thème, 70% ont été inspirés par la question et ont composé un texte long de 1 à 1 343 mots1. Le graphique suivant montre la distribution du nombre de réponses en fonction du nombre de mots qu’elles contiennent.

La chute de la courbe est frappante : énormément de réponses sont composées de quelques mots2, peu de réponses sont composées de quelque dizaines de mots, et on a ensuite une longue traîne de points très bas, de plus en plus éloignés, qui marquent l’existence de quelques réponses très longues. Pour le contenir dans le format de la page (en largeur), j’ai dû couper le graphique, que j’aurais pu faire continuer jusqu’à 1 343.

Ce type de distribution est de règle quand on étudie quantitativement le langage naturel. Traçons la même courbe pour toutes les questions ouvertes.

Toutes respectent la même loi de distribution. Toutes ? Pas tout à fait, puisque deux d’entre-elles montrent une anomalie : un pic important vient rompre la monotonie dans la traîne des questions longues.

Comme elles tendent rapidement vers 0, les courbes ne sont pas très lisibles. Il est alors utile de les afficher avec un axe vertical d’ordre logarithmique : elles deviennent presque rectilignes et décollent de l’axe horizontal.

On conserve bien sûr nos deux trublions. Que s’est-il passé autour de ces deux questions ? Pourquoi subitement 340 réponses de 157 mots à la question “Y a-t-il d’autres points sur la transition écologique sur lesquels vous souhaiteriez vous exprimer ?” plutôt que les 20-30 mots attendus ? A la question “Y a-t-il d’autres points sur l’organisation de l’Etat et des services publics sur lesquels vous souhaiteriez vous exprimer ?”, 4 311 réponses de 157 mots quand on en attendait entre 30 et 50.

En fait, il s’agit de réponses coordonnées : on se met d’accord pour insérer le même texte afin de le rendre plus visible, de donner plus de poids à ses revendications. Je ne suis évidemment pas le seul à l’avoir remarqué : @BriceLeBorgne et @yannicksanchez ont mené l’enquête et repéré le groupe qui a coordonné ses réponses : la Ligue de défense des conducteurs a appelé ses sympathisants à recopier en guise de réponse un texte concernant la limitation à 80km/h.

Comme je l’écrivais plus haut, l’interprétation des réponses au questionnaire du gouvernement concerne ceux qui se sont exprimés, et ne doit pas être envisagée comme l’échantillon de l’avis d’un groupe plus large : ce n’est pas un sondage d’opinion à partir d’un panel représentatif, c’est une expression libre de personnes motivées à répondre à l’exercice qui leur est proposé. Libre donc à chacun de répondre comme il l’entend. D’autres ont tenté la même manœuvre avec moins de succès et sont donc moins visibles sur les graphiques.

Ce que montrent ces courbes, c’est que les réponses sont de taille et de nature bien différentes. Et, lorsque viendra le temps de l’interprétation fine des réponses, il faudra absolument éviter de s’en tenir à un simple comptage des mots les plus fréquents, qui risque d’écraser cette diversité. Dans le cas des réponses courtes, de quelques mots, il sera assez facile de faire des regroupements cohérents (par exemple toutes les formes négatives courtes, ou toutes les fois où une entrée absente d’un choix multiple a été ajoutée par le moyen du champ libre). Mais il faudra aussi prendre en considération les réponses argumentées, qu’elles tiennent en une ou quelques phrases ou en de longs paragraphes. Et il sera alors bien délicat d’employer la même méthode dans les deux cas.

  1. Je travaille ici sur les fichiers mis à disposition le 6 février 2019. []
  2. 7 378 un seul mot, 3 269 deux mots, 3 049 trois mots… []

2 réflexions sur « Repérer les réponses coordonnées au questionnaire du gouvernement dans le cadre du Grand “débat” »

  1. Anonyme

    Les analyses du langage naturel transposé par écrit dans des sondages ou des questionnaires publics, ont montré en effet que des tendances marquent la fréquence de certain phénomènes, entre eux, celui du nombre de mots employés. Ces modèles qui ont aussi inspiré des modes d’analyse en fractales, ont servi à dévoiler des régularités qui n’étaient pas si “régulières”. Dans le cas présent, Josquin Debaz nous invite à ne produire de notre côté et avec les outils d’une sociologie pragmatique, à tenter de créer des modes d’analyse plus fins, qui puissent dévoiler aussi ce que les catégories générales telles que “le peuple”; “le public”, “l’opinion”, … cachent quand il s’agit de légitimer des discours généralisateurs. Dans l’exemple présent, nous découvrons une action dirigé par un groupe afin de produire un effet de “masse”, mais dans d’autres cas, il peut bien s’agir d’utiliser des résultats apparents de l’enquête pour lui faire dire massivement quelque chose qui n’a pas été dite ou qui n’a pas été si massive. Nous accueillons ainsi l’invitation à produire une autre grille de lecture, alterne, aux résultats que ces sondages voudront montrer à priori.

  2. Sébastien Blervacque

    Côté doublons chez Semdee.com nous avons identifié des contributions corrigées voire même parfois identiques copiées collées deux ou trois fois. Pour les contributions corrigées la version précédente ou même les deux versions précédentes ont été maintenues dans les données. Sur la première question ouverte cela représente 9% des contributions.
    Dans notre méthode d’analyse chez Semdee.com nous conservons une seule contribution.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée.

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.