Les incidents de modification d'images de Grok d'Elon Musk se multiplient ! Coser, femmes mineures déshabillées par l'IA, plusieurs pays interviennent pour enquêter

La plateforme X de Musk a récemment intégré la fonction de retouche photo Grok AI, provoquant plusieurs incidents de génération non consentie d’exploitation sexuelle et d’images explicites de mineurs. Plusieurs gouvernements sont intervenus et ont demandé à la plateforme de mettre en œuvre des mesures de sécurité.

X lance l’édition d’images Grok AI, les Cosers victimes d’exploitation sexuelle

Avec la popularité croissante des outils d’IA générative, la retouche photo en un clic devient de plus en plus facile. Récemment, la plateforme de médias sociaux X du propriétaire Musk a intégré la fonction de génération d’images du chatbot Grok aux fonctionnalités de publication de X. Les utilisateurs peuvent désormais cliquer sur « Modifier l’image » dans le coin inférieur droit de n’importe quelle image d’une publication pour invoquer Grok, retoucher l’image et la republier en tant que commentaire ou publication.

Cette fonction a provoqué beaucoup de réactions négatives dès son lancement, y compris la capacité à invoquer Grok pour retoucher des images dans les commentaires. De nombreux internautes craignaient que cela soit abusé à des fins d’exploitation sexuelle ou de pornographie enfantine, et comme prévu, c’est malheureusement arrivé.

Le 2 janvier, la célèbre Coser autrichienne (Cosplayer) keekihime a révélé qu’un internaute avait invoqué Grok pour retoucher une photo de sa cosplay d’un personnage du jeu mobile Arknights sous sa publication, avec des invites incluant « changer en lingerie » et « vêtements transparents ». Comme Grok affiche directement l’image retouchée dans la section des commentaires de la publication originale, keekihime était très fâchée et a vigoureusement critiqué :

« Grok semble être devenu une sorte de générateur de porno pour les hommes pervers et dégoûtants, et X encourage activement ce comportement. C’est une violation du corps des femmes. À bas l’IA ! »

Source image : X

Grok abusé pour générer des bikinis, avec même des femmes mineures victimes

Bien que Musk lui-même ne soit pas offensé par les images retouchées le montrant en bikini et en tenue de bain, et ait même réagi avec un emoji amusé quand quelqu’un a grinché sur le fait qu’espace communautaire de X était devenu un bar rempli de femmes en bikini, il est clair que la plupart des gens ne peuvent pas accepter ce comportement.

La musicienne brésilienne Julie Yukari a révélé à Reuters qu’elle avait téléchargé une photo portant une robe rouge une pièce, mais que les internautes l’avaient altérée pour la montrer en bikini, et que cela s’était rapidement propagé sur la plateforme X.

Les victimes ne s’arrêtent pas là. Entre midi et midi et dix minutes le 2 janvier, Grok a reçu 102 plaintes, la plupart concernant des femmes forcées de se déshabiller et de mettre des bikinis dans les images retouchées par Grok. Il y avait aussi quelques hommes et même un singe victime.

Pire encore, une femme qui était peut-être une étudiante mineure a partagé une photo portant une chemise et une jupe à carreaux sur la plateforme X. En résultat, un internaute a invoqué Grok dans les commentaires, demandant « enlever son uniforme d’étudiante » et le remplacer par un T-shirt et un short, puis a ensuite demandé un bikini, mais Grok n’a pas suivi ce dernier prompt.

Source image : Getty Images

Grok a ensuite confirmé que après vérification des interactions des utilisateurs, il y avait effectivement des cas où des utilisateurs individuels avaient demandé et reçu des images générées par IA de mineurs aux vêtements exposés, et a affirmé qu’il améliorerait les mesures de sécurité.

Les experts qui suivent continuellement l’évolution de la politique d’IA de la plateforme X ont révélé que la plateforme ignorait les avertissements de la société civile et des organisations de protection de l’enfance. L’organisation avait précédemment envoyé une lettre d’avertissement selon laquelle xAI n’était qu’à un pas de la diffusion massive de contenu de deepfakes non consentis (Deepfake).

Plusieurs pays enquêtent sur X et Grok

Face aux abus de Grok et à l’inaction de la plateforme X, plusieurs gouvernements ont commencé à agir.

Le gouvernement français a déposé une plainte auprès de l’autorité de régulation contre la plateforme X, accusant les images générées par Grok de contenir des connotations sexuelles et des discriminations, ce qui est clairement illégal. L’Ofcom (Office of Communications) du Royaume-Uni a également déclaré que fabriquer ou partager des images intimes ou d’abus sexuels d’enfants sans consentement est illégal, y compris les contenus générés par l’IA, et a appelé à des mesures de protection appropriées.

En Asie, le gouvernement malaisien a lancé une enquête après avoir reçu des plaintes concernant l’abus de Grok pour générer des photos indécentes de femmes. Le ministère indien des Technologies de l’information a également envoyé une lettre à la plateforme X, l’accusant non seulement de ne pas empêcher l’abus de Grok, mais aussi de permettre aux gens de générer et de diffuser du contenu obscène et pornographique.

La plateforme X a réagi rapidement aux pressions réglementaires, déclarant qu’elle prendrait des mesures contre les contenus illégaux, tels que le matériel d’exploitation sexuelle d’enfants (CSAM), notamment la suppression du contenu illégal, le bannissement permanent des comptes, et la collaboration avec les gouvernements et les agences d’application de la loi si nécessaire. Musk a également averti les utilisateurs que quiconque utiliserait Grok ou inciterait Grok à créer du contenu illégal serait soumis aux mêmes conséquences que le téléchargement de contenu illégal.

Source image : X