L’IA comme pratique numérique (discrète) en histoire contemporaine

frédéric clavert

doctoriales c²dh / cruhl

une panique peut en cacher une autre

sources, interprétation, écriture

Clavert, Frédéric, and Caroline Muller. “L’histoire au temps des algorithmes: Une réflexion prospective sur l’introduction de l’intelligence artificielle en histoire au 21e siècle.” 20 & 21. Revue d’histoire, 162(2), Oct. 2024, pp. 13–26.
AI Working Group (C²DH), AI Manifesto, 12.2024.

pratiques numériques discrètes

Je vais entre autre utiliser une notion que nous avons progressivement développé avec Caroline Muller, celle de pratique numérique discrète.

Les pratiques numériques discrètes sont toutes ces pratiques ayant une influence sur le résultat d’une recherche et qui ne sont pas réellement documentées.

La plus connue et de moins en moins discrète, c’est la prise de photographie en centre d’archives, qui change notre appréhension des sources, surtout si les photographies ne sont pas très bien classées après leur prise de vue.

Si cette pratique de la photographie d’archives est de plus en plus documentée, elle pose néanmoins déjà la question de l’IA, pas nécessairement générative: les documents d’archives sont souvent pris en photo avec des smartphones. Or la plupart des logiciels de photographie des smartphones embarquent déjà une certaine dose de machine learning, notamment pour les corrections des défauts des photos prises.

En clair, les historiens et historiennes, en emportant des smartphones dans les centres d’archive, embarquent déjà de l’IA dans leurs travaux, de manière, donc, implicite et discrète. En ce sens, les historiens et historiennes sont déjà cyborg, comme l’avaient déjà écrit Nicolas Delalande et Julien Vincent en 2011 dans la RHMC.

Mais, près de 15 ans après cet article, ce cyborg est encore largement inconnu, et il a aussi nettement évolué, entre autre en raison de l’introduction de l’IA, notamment générative, depuis quelques années, dans les travaux des historiens.

gen ai @ c²dh (n=60)

Parmi les éléments qui ont incités l’AI Working Group que je coordonne avec Sean Takats à régulièrement nous réunir est la chose suivante:

À la question: Avez-vous déjà utilisé un chatbot et trois réponses possibles (Oui, Non, mais c’est prévu, Non), 56 de nos collègues du C2DH ont répondu oui, et 4 ont répondu non, en précisant néanmons qu’ils ou elles prévoyaient de le faire.

Nous pouvons le dire autrement: nous utilisons presquez tous et toutes l’IA générative. Et si j’entends bien que le C²DH n’est pas représentatif de tous les historiens et historiennes, il n’empêche que l’usage, même inconscient, se répand de plus en plus, notamment car nous dépendons aussi des logiciels qui nous sont fournis et qui, de plus en plus, embarque de l’ia générative.

sources

ia et sources primaires

L’IA générative n’arrive pas à un moment anodin. L’IA telle que nous la vivons aujourd’hui – le machine learning – est cause et conséquence, intrinséquement liée aux phénomènes de mise en données et de mise en réseau du monde.

Pour le dire plus rapidement, big data et machine learning (dont l’IA générative) sont les deux faces d’une même pièce.

Historiens et historiennes du contemporain notamment sont ainsi confrontés à la numérisation de masse, à l’émergence du records management, à la multiplication des archives nativement numériques.

Pour faire sens d’une telle masse d’archives en ligne, nous devons avoir recours à quelques chose de bien connu au sein des humanités numériques, la lecture distante. Et de nombreux dispositifs de lecture distante intègre du machine learning. Mais de plus en plus, on peut directement, plus facilement, faire appel à un grand modèle de langue.

Par exemple, pour mon corpus de données de 10 millions de prompts où je recherche des références au passé, le plus efficace reste l’utilisation d’un modèle de langue, avec un prompt système détaillé permettant la définition de ces références au passé.

Le Big Data rend ainsi indispensable, pour certaines recherches y compris en histoire et pour les futures historiens et historiennes, l’usage d’un modèle de langue, y compris sous la forme d’une API, comme celle d’anthropic ou d’openAI.

Une API est une interface de programmation applicative, un ensmeble de commande fournie par une application – y compris un site web, un chatbot, etc – à d’autres applications pour qu’elles puissent dialoguer entre elles et échanger des fonctionnalités ou des données.

sources engendrées par l’ia

Mais l’IA générative ne va pas alors seulement fournir les moyens de ‘lire’ nos sources, elle en crée aussi, ajoutant à ce big data en constante expansion.

Quelles sont ces sources? Les sorties de ces systèmes, les textes et images engendrés par les chatbots ou directement les modèles si l’on y fait appel. Les prompts des utilisateurs – ce sont mes recherches actuelles sur les visions du passé que l’on peut lire dans ces prompts.

Ce qui est frappant, c’est la nature de ces sources: ce sont des sources cyborg, fruits d’une collaboration humain-machine.

Et cela interroge sur la capacité future des historiens à comprendre ce qu’est une source cyborg, d’autant plus que, in fine, cela ne concerne pas que l’histoire contemporaine: une transcription obtenue par Transkribus est aussi une source cyborg, par exemple.

humain

artificiel

cyborg

interprétation

Des sources primaires seules ne veulent souvent rien dire. C’est leur analyse, leur contextualisation, mais surtout leur mise en relation, leur mise en réseau par le travail des historiens et historiennes qui est important et qui, pour moi, est l’essentiel du travail d’interprétation nécessaire de l’historien ou de l’historienne.

Ce n’est pas une petite chose: de nombreux processus décisionnels, par exemple, ne sont compréhensibles que parce que nous menons un long travail dans les archives et parce que nous mettons ensuite en relation les différentes archives que nous avons lues, éventuellement aussi avec les travaux d’autres historiens ou historiennes.

Bref, faire de l’histoire c’est interpréter (Duroselle).

Et l’interprétation repose énormément sur la manière dont nous lisons les sources.

patterns

Or la lecture distante que permet l’IA, y compris générative, dans son sens de ‘machine learning’, permet une lecture particulière des sources, fondées sur la détection de motifs (patterns) la plupart du temps.

Malgré les tentatives répétées depuis Newton de trouver des lois régissant le fonctionnement des sociétés humaines – tentatives qui ont échoue jusqu’à maintenant –, historiens et historiennes sont habituellement plutôt à la recherche du particulier, un particulier qui éventuellement permet de généraliser, c’est l’essence de la micro-histoire et de sa critique dans les années 1970 de l’histoire quantitative reposant sur les grandes séries statistiques des années 1960.

Cette lecture spécifique, par motifs, des sources permet de répondre à de nouvelles questions de recherche. Ce sont les travaux de nombreux projets, depuis notamment Oceanic Exchanges, mais aussi NewsEye, Impresso, etc, autour de la presse ancienne numérisée. On peut désormais étudier la circulation de l’information à grande échelle et au travers des continents.

On peut aussi utilise l’IA (pas nécessairement générative) pour sortir certains chaps d’études de leur silos nationaux, ce qu’a fait le projet EyCon mené entre la France et le Royaume-Uni par Julien Schuh et Lise Jaillant autour des grandes bases de photographies issues des empires coloniaux français et britanniques.

Mais toute la recherche, même en histoire, ne peut reposer que sur la détection de motifs, ou sur des modèles dont le fonctionnement repose sur des poids, des paramètres qui eux-mêmes sont des motifs. Il y a ici des dispositifs IA/Big Data qui ouvrent de nouvelles questions de recherche, mais probablement en ferment d’autres.

méthodes

Et bien sûr, il y a tout un ensemble d’éléments, souvent analysés, qui doivent être pris en compte:

les données d’entraînement, pour les grands modèles de langue, ne sont pas correctement connues, sauf exception
ces données d’entraînement reflètent souvent des biais de notre époque ou des époques précédentes, biais de genre, d’âge, d’origines, etc
et il y a toutes les données qui n’existent pas. Patrick Manning rappelait dans Big Data in History qu’il y a des régions pauvres en données, notamment pour les cultures orales.

Surtout, les systèmes de machine learning reposent pour beaucoup sur de la probabilité. Que signifie appliquer un raisonnement probabilistique au passé, qui est arrivé et n’est donc plus une probabilité? Je ne suis pas sûr d’avoir la réponse.

écriture

nietzsche

écriture générative

On peut donc légitimement s’interroger sur les effets de l’intégration de l’IA générative dans les outils que nous utilisons pour écrire, c’est-à-dire pour les historiens et historiennes des traitements de texte commerciaux où des fonctionalités d’IA générative, d’aide à l’écriture sont déjà intégrées, par exemple dans les systèmes de suggestion de mots.

Ceci pose de nombreuses questions. L’auctorialité devient ainsi partagée entre l’humain et la machine – on revient aux contenus cyborg, mais cette fois-ci du côté de l’écriture de l’histoire.

Cette délégation cognitive à la machine qui engendre une forme de collaboration, donc, aura des conséquences sur le style narratife des historiens et historiennes, style qui est important dans l’identité des historiens, mais aussi dans la manière dont les lecteurs et lectrices comprendront ce que nous écrivons, et donc comprendront le passé.

Or, il y a quand même un risque d’une standardisation. Les IA génératives, surtout si l’on passe par les grandes plateformes, ont tendance à donner une sorte de style moyen, à standardiser l’écriture.

Est-ce que ce n’est pas le futur de l’écriture de l’histoire, d’être fondamentalement standardisée? Or le style d’écriture peut aussi être constitutif d’une école historiographique – les Annales n’ont pas écrit comme la micro-histoire (Kansteiner).

usages de recherche

Revenonx un peu à ce que l’on peut faire avec les ia génératives aujourd’hui. Je vais donner des exemples qui sont applicables à beaucoup de recherches, avec, dans mon cas, usage de l’API de Claude. Notez que d’autres API peuvent être utilisées, mais également des modèles de langue plus petits, par exemple ayant fait l’objet d’un RAG, pour travailler sur ses propres données.

Mon premier exemple sera lié à mes recherches actuelles: ce qui m’intéresse, c’est de comprendre comment, lorsque des utilisateurs d’ia génératives écrivent des prompts liés au passé, ils font référence au passé, comment ils considèrent les réponses obtenues, etc. Ce que j’essaye de montrée, c’t qu’il existe des cas de négociation avec la machine, afin d’obtenir un texte ou une image, une vidéo, qui soit conforme à la vision du passé de l’utilisateur. Mais cette négociation n’aboutit pas toujours à ce que souhaite l’utilisateur, et emmène ce dernier parfois dansune impasse: les visions du passé – la mémoire collective – embarquée dans les grandes modèles de langue sont parfois plus présents que la vision du passé embarquée dans le prompt de l’utilisateur.

qu’est-ce qu’une référence au passé?

army of the european union invades budapest 2 0 2 2, highly detailed painting, digital painting, artstation, concept art

army of the european union fighting on the streets of budapest 2 0 2 2, highly detailed illustration for time magazine cover art

army of the european union with tanks fighting on the streets of budapest 2 0 2 2, highly detailed oil painting

krea corpus (sample) → claude api → 5000 prompts

prompt système

Concentrons-nous un peu sur Claude : ce prompt a été co-écrit avec Claude pour aider Claude à raisonner pour chaque élément de mon corpus.

C’est une approche mixte : raisonnement et personas, le prompt étant conçu à travers une négociation entre moi et Claude (le chatbot).

C’est l’utilisation de Claude qui a le mieux fonctionné. C’est loin d’être parfait : la partie implicite n’est pas entièrement prise en compte et certains prompts font référence au passé, mais pas au passé historique.

Je dois préciser que pour l’instant je n’ai fait aucun benchmarking, ce qui est une faiblesse évidente, que je prévois d’adresser. De plus, j’ai utilisé un échantillon du corpus Krea pour des raisons de coût. Le plan est à un moment donné de trouver des prompts avec des références au passé dans le corpus complet de 10 millions de lignes, ce qui devrait me permettre d’obtenir environ 900 000 prompts avec des références au passé.

négocier le passé

Ceci est une dataviz obtenue avec Iramuteq. Iramuteq effectue quelque chose qui ressemble à de la modélisation de sujets, mais ce n’est pas du sac de mots. Les mots que vous voyez sont en fait les mots les plus représentatifs des clusters de prompts. Il y a du passé partout ici. Dans le style, évidemment, mais aussi dans le contenu. Et la plupart des références au passé, si elles ne sont pas artistiques, sont aux guerres (cluster 17), ou aux guerres de propagande (cluster 8). Et la plupart d’entre elles sont d’une manière ou d’une autre liées aux nouvelles actuelles (trump, propagande, soviétique, macron dans le même cluster par exemple).

Ces analyses de lecture distante sont intéressantes, mais confirment plus qu’elles ne découvrent : d’une certaine manière, nous nous attendons à ce que l’Europe soit liée au concept d’empire, nous nous attendons à ce que beaucoup de références au passé soient liées à la partie ‘style’ d’un prompt.

Mais ces lectures distantes nous permettent aussi de revenir à des prompts spécifiques. En regardant des prompts qui sont très similaires, nous pouvons tracer l’évolution d’un prompt écrit / réécrit plusieurs fois par un utilisateur. Et c’est ici, que nous pouvons voir que les plateformes d’IA générative, vues comme des frameworks, encouragent les utilisateurs à négocier avec la machine le passé qu’ils veulent voir ou lire.

Cette négociation peut être vue comme une confrontation entre plusieurs types de mémoires collectives : celle qui sont intégrées dans la plateforme d’IA générative et qui provient de la façon dont le LLM ou le système de diffusion a été entraîné et du corpus sur lequel il a été entraîné ; la mémoire collective du groupe auquel l’individu appartient ; la propre vision du passé de l’individu.

Je donnerai un exemple.

joe biden doing a nazi salute, in front of brandenburger tor. huge nazi crowd in front of him. face of joe biden is clearly visible. canon eos r 3, f / 1. 4, iso 1 6 0 0, 1 / 8 0 s, 8 k, raw, grainy

Ceci est un exemple frappant de négociation avec une machine pour obtenir quelque chose dans le présent avec des références au passé qui sert comme lecture idéologique du présent.

L’utilisateur n’a jamais obtenu ce qu’il voulait. Biden faisant un salut nazi devant des nazis – cela n’existe tout simplement pas. Néanmoins, le prompt a activé des modèles de la seconde guerre mondiale et peut-être de la guerre froide.

Je sur-interprète peut-être, mais je peux voir l’influence, bien sûr, des images nazies, mais aussi de De Gaulle en août 1944 (26) sur les Champs-Élysées, Kennedy devant la porte de Brandebourg.

L’objectif politique de l’auteur du prompt ici est partiellement en échec : cet objectif politique est confronté à la mémoire collective de la seconde guerre mondiale, qui est prééminente sur leurs vues.

usages variés

et le chatbot?

conclusion

En conclusion, j’aimerais revenir sur les travaux de l’AI working group au C2DH.

Nous avons collaborativement écrit un AI Manifesto – je concède que le titre est un peu grandiloquent – pour, non pas répondre, mais nous préparer aux grands enjeu épistémologiques auxquels nous faisons face au temps de l’IA.

Nous avons essayé de structurer ce document en quelques grands principes:

Think & Discuss - Critical reflection essential
Infrastructure - Institutional subscriptions needed
Human Expertise - Data scientists, research engineers
Learning - Prompt engineering, API skills required
Partnerships - Collaboration across disciplines

Ce document est daté, parce que tout ceci est amené à évoluer, peut-être encore plus vite que nous le pensons. Mais l’idée est, outre quelques recommandations de court terme, de mettre en place des buts de long terme:

créer un cadre / un workflow pour la recherche historique utilisant, notamment, de l’IA générative
définir un cadre éthique de leur utilisation
initier des collaborations externes larges, car un centre seul, bien évidemment, ne résoudra pas toutes les questions épistémo qui se posent.
mettre au point un programme systématique de formation

Les grands enjeux sont ainsi les suivants:

What constitutes authorship in human-AI collaboration?
How do we maintain source criticism with AI-generated content?
What is the role of human expertise when machines can read/write?

Mais pour y répondre, nous devons mettre en place les outils critiques nécessaires, et cela ne peut se faire que par l’enseignement et la formation:

New Skills Required: - Digital diplomatics for AI-generated sources - Understanding of algorithmic processes
- Human-machine collaboration assessment

Traditional Skills Enhanced: - Source criticism remains essential - Interpretation expertise more valuable - Narrative construction skills crucial

La panique liée à chatgpt a commencé par l’enseignement. Elle nous ramène à l’enseignement.