Francis Chateauraynaud et Josquin Debaz

Depuis plus d’une décennie, les outils de recherche du web sont intégrés  dans les enquêtes menées par les internautes, parmi lesquels il faut compter les chercheurs qui utilisent le réseau pour explorer rapidement l’étendue d’un thème ou tout simplement vérifier l’usage d’un mot – comme c’est souvent le cas pour une expression en langue étrangère. Il semble trivial de dire qu’aujourd’hui on peut, à partir de mots-clés ou d’expressions bien choisis, retrouver à peu près n’importe quelle information ou faire surgir des sources inconnues et pertinentes.  En pratique, les choses ne sont pas si simples et tout dépend des niveaux d’exigence et des objets que l’on se donne.

La conjonction de deux processus

Si les algorithmes d’un moteur comme Google produisent parfois des résultats bizarres, pour le moins instables (une petite variation dans une expression produisant de grands écarts tant dans le nombre de pages renvoyées que dans le classement obtenu), on peut se forger, à la louche,  une idée approximative du degré de diffusion des termes qui nous intéressent dans le vaste corpus aux contours indéterminés que constitue le Web. Dans la recherche à vue sur un moteur, la part de calcul est malgré tout assez faible, puisqu’il s’agit essentiellement d’interroger des index mis à jour régulièrement par des robots.

A côté de l’exploration des index, il y a toute une tradition d’outils statistiques permettant, par exemple de calculer la fréquence ou le poids relatif d’un mot ou d’un groupe de mots, d’en restituer la distribution selon différents axes ou variables. Une des contraintes majeures de la statistique textuelle est formée par la nature des corpus soumis à ses algorithmes. Selon la base de textes étudiée, les techniques lexicométriques, statistiques ou cartographiques n’ont pas la même portée. Que se passe-t-il lorsque le corpus soumis à des algorithmes statistiques change radicalement d’échelle au point de ne plus correspondre à aucune expérience antérieure connue ? C’est ce que permet d’explorer le nouvel outil mis en ligne par Google Labs :  Books Ngram Viewer. Ce projet a été piloté par des chercheurs de Harvard, en particulier Jean-Baptiste Michel, jeune polytechnicien français  et Erez Lieberman Aiden, mathématicien, physicien et philosophe américain, qui mettent ainsi à profit l’énorme travail de numérisation lancé par Google en 2003 avec le projet de numériser tous les livres publiés à ce jour dans le monde, (5 millions de livres publiés, surtout depuis 1800).  la base lexicale utilisée contient selon ses développeurs, 5 milliards de mots, mis en ligne et accessible derrière l’interface proposée par Google Labs.

Si les ordinateurs sont mis à contribution pour étudier les mots de la langue depuis fort longtemps, notamment pour caractériser l’évolution des lexiques, tracer des corrélations ou des co-occurrences¹, l’expérience publiée fin décembre 2010 crée incontestablement un précédent : outre le volume de documents traités, il s’agit bien de la confluence entre deux séries d’outils. Sans discuter à chaud l’ensemble des points techniques que soulève cette expérience, ce billet esquisse l’examen des conséquences d’une telle conjonction pour les humanités numériques.

Le choc des nombres et le poids des mots

Fin décembre donc, la revue Science publie un article intitulé “Quantitative Analysis of Culture Using Millions of Digitized Books” et présenté comme une révolution puisqu’il incarne l’avènement d’une nouvelle discipline, appelée culturnomics (culturonomique en français). Il s’agit en fait d’un nouveau protocole, accessible par Google, permettant des analyses lexicométriques sur une base impressionnante puisqu’elle est constituée par des millions d’ouvrages numérisés, publiés sur plus de 5 siècles – en gros de 1500 à 2008. Du jamais vu en terme de masse textuelle et d’échelle temporelle. On comprend du même coup que cette annonce ait suscité pas mal d’enthousiasme.  C’est le cas par exemple dans le New York Times ou dans Le Figaro, et bien sûr dans la blogophère spécialisée – comme sur le blog d’Henri Verdier dans son billet intitulé “Google n-gram des choses cachées depuis le commencement du monde”. Pour Jean Véronis, informaticien linguiste, un tel résultat est “phénoménal” et ouvre une nouvelle ère dans l’analyse des grands corpus.  D’autres, plus ou moins sceptiques, parfois acides, profitent de cet événement pour rappeler que nous devons impérativement garder le contrôle sur nos corpus.

Ce n’est pas du côté de l’algorithmique prise pour elle-même qu’il faut chercher la nouveauté radicale de l’opération, l’inspiration statistique des auteurs remontant au début du XXe siècle (n-grammes, chaines de Markof, algorithme de Viterbi) mais bien dans la capacité d’exploration de millions de documents numérisés couvrant plus de 5 siècles d’histoire intellectuelle et culturelle – avec comme première contrainte la seule prise en compte des imprimés. Bien sûr une des limites qui sautent aux yeux immédiatement est constituée par l’entrée purement lexicale, qui suppose de faire confiance aux mots, à la stabilité de leur sémantique, pour extraire des faits interprétables, sur une durée tellement longue qu’il ne soit pas garanti qu’un chat soit encore un chat. La question est en effet de savoir si les mouvements observés à partir des mots renvoient aussi mécaniquement à des configurations sociales, politiques ou culturelles dont on peut ressaisir les transformations. Par exemple si l’on regarde la distribution des mots expert, experts et expertise on obtient bien une montée en puissance significative, permettant de caractériser les différentes phases historiques de la modernité. Mais de quelle expertise s’agit-il ?²

L’outil permet de retracer sur une très longue durée l’évolution des fréquences d’emploi de termes ou d’expressions, ce qui permet aux porteurs de ce projet de revendiquer un instrument de portée très générale, pouvant prendre en charge de nombreuses problématiques.  En conclusion de l’article, on lit par exemple :

Culturomic results are a new type of evidence in the humanities. As with fossils of ancient creatures, the challenge of culturomics lies in the interpretation of this evidence. Considerations of space restrict us to the briefest of surveys: a handful of trajectories and our initial interpretations. Many more fossils, with shapes no less intriguing, beckon:

• (i) Peaks in “influenza” correspond with dates of known pandemics, suggesting the value of culturomic methods for historical epidemiology (35) (Fig. 5A).
• (ii) Trajectories for “the North”, “the South”, and finally, “the enemy” reflect how polarization of the states preceded the descent into war (Fig. 5B).
• (iii) In the battle of the sexes, the “women” are gaining ground on the “men” (Fig. 5C).
• (iv) “féminisme” made early inroads in France, but the US proved to be a more fertile environment in the long run (Fig. 5D).
• (v) “Galileo”, “Darwin”, and “Einstein” may be well-known scientists, but “Freud” is more deeply engrained in our collective subconscious (Fig. 5E).
• (vi) Interest in “evolution” was waning when “DNA” came along (Fig. 5F).
• (vii) The history of the American diet offers many appetizing opportunities for future research; the menu includes “steak”, “sausage”, “ice cream”, “hamburger”, “pizza”, “pasta”, and “sushi” (Fig. 5G).
• (viii) “God” is not dead; but needs a new publicist (Fig. 5H).

These, together with the billions of other trajectories that accompany them, will furnish a great cache of bones from which to reconstruct the skeleton of a new science.

La liste des observations culturonomiques est assez indicative de la portée qu’attribuent ses auteurs à la démarche. En même temps, on est frappé par le haut niveau de généralité des problèmes abordés, supposés résolus., et dont l’énonciation est extrêmement naïve du point de vue des sciences humaines et sociales.  A partir des expériences socioinformatiques qui sont les nôtres – sur des corpus apparaissant du même coup comme très modestes, comme des “micro-corpus” -‘, on peut partager une partie de l’enthousiasme de la plupart des commentateurs, puisque cet outil enrichit la panoplie des  humanités numériques. Mais un lecteur assidu de ces carnets ne manquerait pas de déceler une once d’ironie dans l’affirmation d’une adhésion pleine et entière à ce type de totalisation³.

Nous manquons de recul face à cette proposition pour ancrer sa mise en discussion et développer une critique épistémologique et méthodologique utile à la réflexion générale sur les instruments⁴. Les questions peuvent partir de différentes positions, et il est trop tôt pour fournir un panorama complet des points que soulève cette démarche, qui revendique pour la culture langagière une épistémè analogue à celle qui prévaut en matière de décryptage des génomes par la genomics.  Les objets culturels et politiques sont-ils calculables au même titre que les autres ? Un des membres du réseau d’utilisateurs du logiciel Prospéro a par exemple fait parvenir ce message sur la liste de diffusion:

On nous dit : ““Dieu” n’est pas mort, mais il aurait besoin d’un bon service de communication.” On a apparemment “oublié” l’arabe, alors même que  l’on semble prétendre, à travers un très large éventail de langues, à une certaine forme d’exhaustivité. Et on n’en glose pas moins sur l’occurrence du mot Dieu . Dans le monde ? Mais peut-être a-t-on pensé que les auteurs de langue arabe sont généralement assez indifférents aux questions religieuses.

Il suffit d’entrer le nom d’Allah dans le moteur pour constater qu’il ne cesse de rebondir de plus en plus haut au fil du temps, la remarque sur Dieu est donc plus de l’ordre de la boutade qu’autre chose. Mais précisément cela pose le problème des modèles d’interprétation que peut supporter le dispositif. Car la question des langues et des aires culturelles, celle des traditions lettrées, des milieux académiques et des logiques d’éditions et de rééditions, des modalités pratiques de passage à l’archive matérielle à l’archive numérique, et de tous les éléments contextuels nécessaires à de bonnes interprétations,  sont évidemment écrasées par un projet qui joue au fond sur deux ressorts principaux :  prendre appui sur la masse documentaire en faisant le pari qu’en émergeront forcément des traits et des profils marquants pour caractériser les grandes évolutions des cultures de l’écrit sur 5 siècles – jeu  qui suppose un type particulier de conception des rapports entre les mots de la langue, la société, la culture et la politique ; mettre en application la maxime selon laquelle “qui peut le plus peut le moins” qui permet de promettre ensuite des aménagements ou des applications tenant compte de contraintes plus fines et de données plus spécifiques. De ce point de vue la culturonomique tente de reproduire le mouvement de la physique céleste, à ceci près que les entités de base sont les mots et non des amas galactiques, alors même que le sens des mots et de leurs relations dépendent des producteurs, des récepteurs et des mondes dans lesquels ils pensent et agissent, ce qui entraînent discussions, redéfinitions, modifications perpétuelles du sens des mots.

Tendances globales, bruit, singularités … face à la culture de l’interprète

Comme on l’a vu avec l’expérience Google Trends, visant les tendances actuelles du Web à partir du suivi temporel des requêtes des internautes, le fait de disposer d’un outil ne suffit pas à construire une logique d’enquête et une forme de raisonnement adéquats. A défaut d’autre outil de recoupement, la production d’inférences à partir d’un corpus géant, qui reste globalement inaccessible, peut produire d’énormes artefacts interprétatifs ou ne renvoyer en boucle que des choses connues – la montée du féminisme ou des droits de l’homme au cours du XXème siècle ! En laissant de côté pour l’instant la question de la polysémie, il faut noter le problème du bruit engendré par la numérisation des sources elles-mêmes. Le fait de trouver le mot Internet au début du XXème siècle peut surprendre. La réponse de l’équipe de Google Labs :

Why does the word “Internet” occur before 1950?
Time traveling software engineers!
Most of those are OCR errors; we do a good job at filtering out books with low OCR quality scores, but some errors do slip through.
(One old usage of the word “Internet” is legitimate. Can you find it?)

En fait Internet a, par exemple, pris la place de la mention Internat. qui sert d’abréviation pour International et que l’on trouve dans les titres abrégés des journaux scientifiques. Cet erreur d’OCR n’est pas grave en soi mais pose la question de la fiabilité des sources numériques pour toutes les études qui entendent aller plus loin qu’un survol rapide  – en l’occurrence ceux qui se penchent sur les périodiques scientifiques et leur histoire vont avoir un doute sérieux sur la base des ouvrages numérisés.

Un autre point central qui contribue aux décalages possibles et qui suppose une importante culture de la part des utilisateurs, est lié à la question des dates des documents. On sait que les rééditions sont fréquentes et en outre que les recueils de textes remettent en scène de multiples textes du passé. La forme et la nature des ouvrages sont des éléments de cadrage importants qui peuvent peser sur le calcul statistique. Par exemple, si l’on entre l’expression « faute professionnelle » dans Books Ngram Viewer on obtient la distribution suivante :

Un seul livre publié en 1934 ou en 1991 suffit à produire une saillance et orienter l’interprétation. Impossible de s’en sortir sans remettre le document dans son environnement, et pas seulement éditorial ! On voit que la courbe de la faute professionnelle décolle après 1860, puis qu’elle monte fortement au tournant du siècle avec des pics successifs : pour celui qui connaît l’histoire du droit, celle des professions et des entreprises, cette séquence est liée à la montée en puissance des professions libérales et du droit civil qui les encadre et dans lequel la notion de faute est centrale. A partir de la fin du XIXème et du début du XXème, on bascule dans le droit social : le droit du travail installe la faute dans les causes de licenciement. Du coup, la notion est fortement présente dans l’ouvrage de  René Martin, La faute professionnelle, spécialement dans les professions libérales (1934) qui s’appuie sur l’ensemble des thèses de droit de la fin du XIXème et du début du XXème. Dans les années 1990 on voit la pente ascendante se réaffirmer : un ouvrage semble dominer la période des années 1990, il est en effet consacré à une sociologie de La Faute professionnelle (1991) :  les valeurs étant relatives au volume annuel de texte, un livre volumineux comme celui-ci (460 pages) fait monter considérablement l’expression. Est-ce qu’elle est pour autant plus utilisée dans la “culture générale” ?

N’oublions pas en outre que les livres se succèdent, et que les auteurs citent leurs prédécesseurs pour au moins trois raisons  qui, par effets d’entraînement ou d’agrégation, peuvent peser sur les tendances observées :

• on s’appuie sur la littérature antérieure et on en reprend le vocabulaire ;
• on conteste des prédécesseurs en discutant leur thèse  ;
• on se lance dans des analyses et des interprétations fouillées en recourant intensément à la citation.

Du même coup, il est impossible de savoir à partir de l’algorithme utilisé comment s’opèrent les transferts de mots et d’expressions à d’autres dates. On peut certes essayer de travailler sur les dates citées dans les ouvrages, mais avec de grandes difficultés pour renouer le lien avec les autres éléments de contenu. En réalité, par ce type de procédé, l’intertextualité est écrasée sous l’idée dominante d’évolution du vocabulaire⁵.

En tout état de cause, le problème majeur de l’outillage proposé est l’absence d’idée claire sur le corpus global, que redouble l’absence des valeurs absolues obtenues pour les résultats. Si l’option de lissage intégrée dans l’outil rend manifeste que les développeurs ont entrevu le problème de mesure qu’ils ont en quelque sorte créé de toutes pièces, compte tenu de la masse explorée,  la correction ne fait que lisser les courbes et souligner les saillances, sans changer les tendances de fond. En fait une des contraintes vient du fait que, pour éviter tout problème de copyright, les chercheurs ont dû dépouiller les mots de leur contexte.

Bref, ce genre d’outil est à utiliser avec précaution car il suppose de mobiliser en toile de fond une culture encyclopédique importante et de disposer d’un autre espace de calcul servant de contrepoint interprétatif – que l’on peut appeler très classiquement un opérateur de falsification. Quelles conditions faut-il réunir pour tirer une inférence pertinente ou heuristique à partir de ce seul outil fondé sur les n-grammes et une temporalité longue ?

1. Disposer d’une culture générale suffisante pour comprendre le positionnement relatif des mots dans le temps : la culturonomique obligeant à faire appel à sa culture personnelle pour comprendre le résultat ;
2. Etre capable d’associer des formes proches pour vérifier la robustesse du profil. Par exemple le fait que le ‘principe de précaution’ décolle à partir de 1990 ne nous apporte rien, d’autant que des essais avec ‘changement climatique’, ‘sécurité sanitaire’, ‘nucléaire’ ou ‘OGM’ ont produit des courbes suffisamment bizarres pour poser une exigence de corpus plus précis.
3. Avoir une visée d’abstraction dans son raisonnement qui permet de se placer à un niveau macro-sociétal tout en considérant les éléments de contexte comme secondaires, ce qui évidemment du point de vue pragmatique est intenable.

La culturonomics assume une forme de réductionnisme, à une époque où l’on ne cesse de raisonner à partir de cartographies complexes et où les choses ne valent qu’en relation les unes avec les autres. Ainsi, l’idée que les mots puissent indiquer une tendance macro-sociétale sans que les contextes et configurations sociohistoriques soient accessibles suppose que l’utilisateur soit capable de contextualiser et d’opérer les bons rapprochements et donc qu’il soit en mesure d’utiliser d’autres sources et d’autres outils. On retombe ici sur une des règles de base de la socioinformatique : multiplier les procédés de recoupements et les manières de vérifier l’existence d’effets de structures : toute preuve procède du recoupement de chemins interprétatifs différents et de la mise en variation critique, visant autant la consolidation de noyaux de faits que leur falsification.

Comme Google Trends et d’autres outils en ligne, ce type de dispositif va probablement s’installer comme instrument d’appoint servant occasionnellement à des vérifications de bon sens, soit dans le cadre de travaux menés sur des thèmes dans la longue durée, soit pour recouper une intuition : par exemple en traçant les mots “passion”, “émotion”, “amour” et “sentiment” on obtient des profils différents, renvoyant à différentes conceptions du romantisme qui se succèdent au fil du temps. Encore faut-il revenir aux textes et soigner les prises de l’interprétation pour sortir des lieux communs ou des grandes figures toutes apprêtées pour un histoire globale d’inspiration essayiste.  Autrement dit, s’il ne s’agit pas de balayer d’un revers de main l’effort de recherche et développement effectué, une fois retombée la phase de découverte et d’enthousiasme ou de jeu avec l’outil, il convient d’installer tous les usages critiques et techniques nécessaires et d’examiner les formes d’intégration d’une multiplicité d’outils assurant de retrouver le chemin des récits, des représentations et des arguments en lice.

Pour l’analyse des controverses et des conflits qui intéressent la socio-informatique, ce type d’instrument est bien trop superficiel. Mais il peut  alimenter la recherche de contrepoints et de solutions alternatives tant sur la manière d’organiser les sources et les corpus, que dans la production de grilles d’analyses sémantiques plus fines qui ne partent pas de fréquences ou de régularités statistiques mais du déploiement, dans des configurations discursives déterminées, de concepts et de taxinomies, de grappes de thèmes ou de formules argumentatives – autant de niveaux nécessaire à l’intelligibilité des textes et des discours,inaccessibles aux protocoles fondés sur la seule analyse de mots détachés de leurs contextes.

1. Voir le Trésor de la langue française. Sur le développement des outils statistiques pour l’analyse de corpus, voir C.W. Roberts (dir), Text Analysis for the Social Science, Hillsdale, N.J., Lawrence Erlbaum, 1997 [↩]
2. Voir F. Chateauraynaud, “Les mobiles de l’expertise” (entretien), Revue Experts, numéro spécial du printemps 2008 ; C. Rabier (dir), Fields of Expertise. A Comparative History of Expert Procedures in Paris and London, 1600 to Present, New Castle, Cambridge Scholar Publishing, 2007. [↩]
3. On a déjà eu l’occasion de manifester quelques réserves sur le néo-positivisme gargantuesque de la politique de numérisation de Google et des rapports à la recherche qu’elle implique dans Les Humanités numériques sont-elles solubles dans Google ? [↩]
4. La discussion a néanmoins déjà bien commencé sur le blog de Jean Véronis. [↩]
5. Voir sur ce point la fameuse  loi de Zipf. [↩]

---

---