AI a lu « 1984 » et a décidé de l’interdire

Auteur : Kulleray, Deep Tide TechFlow

La semaine dernière, un collège à Manchester, au Royaume-Uni, a utilisé l’IA pour contrôler sa bibliothèque.

L’IA a dressé une liste de désaffectation de 193 livres, avec pour chacun une justification. On y trouvait notamment « 1984 » de George Orwell, avec comme raison : « Contient des thèmes de torture, de violence et de coercition sexuelle ».

« 1984 » décrit un monde où un gouvernement surveille tout, réécrit l’histoire et décide ce que les citoyens ont le droit de lire et ce qu’ils ne doivent pas lire. Aujourd’hui, l’IA fait la même chose à la place d’une école, et elle ne sait peut-être même pas de quoi elle parle.

La bibliothécaire de cet établissement juge la démarche déraisonnable et refuse d’exécuter l’ensemble des recommandations formulées par l’IA.

L’école lance alors une enquête interne contre elle, invoquant « la sécurité des enfants ». Elle l’accuse d’avoir introduit à la bibliothèque des ouvrages inappropriés, et la signale aux autorités locales. Elle tombe malade sous la pression, s’arrête de travailler puis finit par démissionner.

L’absurde, c’est que le rapport d’enquête des autorités locales conclut qu’elle a bien enfreint les procédures de sécurité des enfants, et que la plainte est fondée.

La présidente de la section des bibliothèques scolaires au Royaume-Uni, Caroline Roche, affirme que ce verdict signifie qu’elle ne pourra plus travailler dans aucune école.

Ceux qui ont résisté aux décisions de l’IA ont perdu leur emploi ; ceux qui ont signé pour approuver les décisions de l’IA n’ont rien eu.

Par la suite, dans des documents internes, l’école reconnaît que toutes les classifications et toutes les raisons ont été générées par l’IA. La formulation exacte est : « Même si la classification est générée par l’IA, nous pensons que cette classification est globalement exacte. »

Une école a délégué à l’IA le jugement de « quels livres conviennent aux élèves ». L’IA a renvoyé une réponse qu’elle-même ne comprend pas, et un responsable humain a apposé son sceau sans même y regarder de près.

Après que cette affaire a été révélée par l’organisation britannique de défense de la liberté d’expression Index on Censorship, les questions soulevées vont bien au-delà de l’étagère d’une seule école :

Quand l’IA commence à décider à la place des humains quels contenus sont appropriés et lesquels sont dangereux, qui doit juger si le jugement de l’IA est correct ?

Wikipedia ferme ses portes à l’IA

La même semaine, une autre institution a répondu à cette question par ses actes.

L’école a laissé l’IA décider de ce que les gens pouvaient lire. Le plus grand site de encyclopédie en ligne au monde, Wikipédia (Wikipedia), a fait un choix inverse : ne pas laisser l’IA décider de ce que doit contenir l’encyclopédie.

Toujours la même semaine, Wikipédia en anglais a officiellement adopté une nouvelle politique interdisant l’utilisation de grands modèles de langage pour générer ou réécrire le contenu des articles. Le résultat du vote est de 44 voix pour et 2 contre.

La cause directe vient d’un compte IA appelé TomWikiAssist. Début mars, ce compte a créé et édité de lui-même plusieurs articles sur Wikipédia ; après que la communauté l’a découvert, il a été traité en urgence.

Écrire un article avec une IA ne prend que quelques secondes, mais vérifier, pour un bénévole, si les faits, les sources et les formulations d’un article produit par IA sont exacts demande des heures.

La communauté éditoriale de Wikipédia compte au total un nombre limité de personnes. Si l’IA peut produire du contenu en quantité illimitée, les éditeurs humains ne pourront jamais tout vérifier.

Ce n’est pas le point le plus problématique. Wikipédia est l’une des sources de données d’entraînement les plus importantes pour les modèles d’IA dans le monde. L’IA apprend de Wikipédia, puis utilise ce qu’elle a appris pour rédiger de nouveaux articles Wikipédia, et ces nouveaux articles sont ensuite ingérés par les modèles d’IA de la génération suivante pour continuer à s’entraîner.

Dès que des informations erronées générées par l’IA entrent dans cette boucle, elles s’amplifient en continu et finissent par devenir un empoisonnement de l’IA façon poupée russe :

L’IA contamine les données d’entraînement, et les données d’entraînement contaminent à leur tour l’IA.

Cependant, la politique de Wikipédia laisse aussi deux portes ouvertes à l’IA : les éditeurs peuvent utiliser l’IA pour peaufiner les textes qu’ils écrivent eux-mêmes, ou bien pour aider à la traduction. Mais la politique avertit spécifiquement que l’IA peut « dépasser vos demandes, modifier le sens du texte et le rendre incompatible avec les sources citées ».

Les auteurs humains se trompent, et Wikipédia corrige cela depuis plus de vingt ans grâce à la collaboration communautaire. La manière dont l’IA se trompe est différente : ce qu’elle invente ressemble davantage à du vrai que du vrai, et peut être produit en série.

Une école a cru les conclusions de l’IA, et le résultat a été la perte d’un bibliothécaire. Wikipédia, elle, a choisi de ne pas croire, et a directement fermé la porte.

Mais si même les personnes qui fabriquent l’IA se mettent à ne plus y croire, alors ?

Les gens qui fabriquent l’IA ont d’abord peur eux-mêmes

Alors que des institutions ferment la porte à l’IA, les entreprises d’IA, elles aussi, reculent.

La même semaine, OpenAI a suspendu pour une durée indéterminée le « mode adulte » de ChatGPT. Cette fonction devait initialement être lancée l’an dernier en décembre ; elle aurait permis à des utilisateurs adultes ayant validé leur âge d’avoir des conversations érotiques avec ChatGPT.

Le PDG Sam Altman l’a annoncé lui-même en octobre de l’an dernier ; ses propos exacts étaient de « traiter les utilisateurs adultes comme des adultes ».

Après que la mise en place a été repoussée trois fois, c’est finalement annulé.

D’après le Financial Times britannique, au sein d’OpenAI, un comité consultatif sur la santé a voté à l’unanimité contre cette fonction. Les inquiétudes des conseillers sont très concrètes : les utilisateurs pourraient développer une dépendance émotionnelle malsaine envers l’IA, et les mineurs trouveraient forcément un moyen de contourner la vérification de l’âge.

Un conseiller s’est exprimé de façon encore plus directe : si rien n’est fait pour de profondes améliorations, cela pourrait devenir un « coach de suicide sexy ».

Le taux d’erreur du système de vérification de l’âge dépasse 10 %. À l’échelle de 800 millions d’utilisateurs actifs par semaine pour ChatGPT, 10 % signifieraient que des dizaines de millions de personnes pourraient être classées par erreur.

Le mode adulte n’est pas le seul produit supprimé ce mois-ci. Les outils vidéo d’IA Sora, ainsi que la fonctionnalité de paiement instantané intégrée à ChatGPT, sont tous mis hors ligne en même temps. Altman a déclaré que l’entreprise devait se concentrer sur son activité principale et supprimer les « tâches annexes ».

Mais OpenAI prépare en même temps une introduction en bourse (IPO).

Pour une entreprise en plein sprint vers la cotation, supprimer de façon intensive des fonctionnalités susceptibles de susciter des controverses : le nom le plus exact de ce geste ne serait peut-être pas « se concentrer ».

Cinq mois plus tôt, Altman disait encore qu’il fallait traiter les utilisateurs comme des adultes ; cinq mois plus tard, il s’aperçoit que son entreprise n’a même pas encore compris ce que l’IA permet aux utilisateurs de faire, et ce qu’elle ne leur permet pas.

Même les personnes qui fabriquent l’IA n’ont pas de réponse. Alors, qui doit tracer cette ligne ?

L’écart de vitesse impossible à rattraper

Si vous mettez ces trois éléments ensemble, il est facile d’en tirer une conclusion centrale :

La vitesse de production de contenu par l’IA, et la vitesse de revue du contenu par les humains, ne sont plus du tout du même ordre de grandeur.

Le choix de cette école à Manchester s’explique alors très facilement dans ce contexte. Combien de temps faut-il pour que la bibliothécaire lise un par un 193 livres afin de décider ? Pour que l’IA fasse le tour : quelques minutes.

Le proviseur a choisi la solution qui prend quelques minutes. Vous pensez qu’il croit vraiment en la capacité de jugement de l’IA ? Je pense que c’est davantage parce qu’il ne veut pas consacrer ce temps.

C’est un problème économique. Le coût de génération tend vers zéro, tandis que le coût de l’audit est entièrement supporté par les humains.

Ainsi, chaque institution affectée par l’IA est contrainte de répondre de la manière la plus brutale possible : Wikipédia interdit directement, OpenAI supprime directement toute une gamme de produits. Aucune solution n’est le résultat d’une réflexion approfondie ; tout est dû au fait qu’on n’a pas eu le temps d’y penser clairement, et qu’on a simplement bouché les trous d’abord.

« Boucher les trous d’abord » est en train de devenir une habitude.

Les capacités de l’IA s’améliorent tous les quelques mois, mais les discussions sur ce que l’IA est autorisée à toucher n’ont même pas encore donné lieu à un cadre international sérieux. Chaque institution ne s’occupe que de la ligne à l’intérieur de sa propre cour ; les lignes entre elles se contredisent, et personne ne coordonne.

La vitesse de l’IA continue d’accélérer. Les effectifs d’audit ne vont pas augmenter. Cet écart de ciseaux ne fera que grandir, jusqu’au jour où un événement sera plus grave que l’interdiction de « 1984 ».

Et quand on redessinera une ligne à ce moment-là, il sera peut-être trop tard.