L'organisme de réglementation australien signale Grok dans la montée des plaintes pour abus d'images IA

En résumé

• La commissaire australienne à la sécurité en ligne, eSafety, a signalé une augmentation des plaintes concernant le chatbot Grok d’Elon Musk créant des images sexuelles non consensuelles, avec un doublement des signalements depuis fin 2025.
• Certaines plaintes concernent du matériel d’exploitation sexuelle d’enfants potentiel, tandis que d’autres concernent des adultes soumis à des abus basés sur des images.
• Ces préoccupations interviennent alors que des gouvernements du monde entier enquêtent sur la modération laxiste du contenu de Grok, l’UE déclarant que le “Mode Épicé” du chatbot est illégal.

Le régulateur indépendant australien de la sécurité en ligne a publié jeudi un avertissement concernant la montée de l’utilisation de Grok pour générer des images sexualisées sans consentement, révélant que son bureau a constaté un doublement des plaintes concernant le chatbot IA ces derniers mois. La commissaire à la sécurité en ligne australienne, Julie Inman Grant, a déclaré que certains rapports impliquent du matériel d’exploitation sexuelle d’enfants potentiel, tandis que d’autres concernent des adultes soumis à des abus basés sur des images. « Je suis profondément préoccupée par l’utilisation croissante de l’IA générative pour sexualiser ou exploiter les personnes, en particulier lorsque des enfants sont impliqués », a publié Grant sur LinkedIn jeudi. 

Les commentaires interviennent dans un contexte de backlash international croissant contre Grok, un chatbot développé par la startup d’IA de milliardaire Elon Musk, xAI, qui peut être sollicité directement sur X pour modifier les photos des utilisateurs. Grant a averti que la capacité de l’IA à générer du « contenu hyper-réaliste » facilite la création d’abus synthétiques par de mauvais acteurs et complique la tâche des régulateurs, des forces de l’ordre et des groupes de protection de l’enfance pour répondre. Contrairement à des concurrents comme ChatGPT, xAI d’Musk a positionné Grok comme une alternative « audacieuse » qui génère du contenu que d’autres modèles d’IA refusent de produire. En août dernier, il a lancé le « Mode Épicé » spécifiquement pour créer du contenu explicite. Grant a averti que les codes industriels applicables en Australie obligent les services en ligne à mettre en place des mesures de protection contre le matériel d’exploitation sexuelle d’enfants, qu’il soit généré par l’IA ou non.

L’année dernière, eSafety a pris des mesures d’application contre des services « nudify » largement utilisés, les obligeant à se retirer d’Australie, a-t-elle ajouté. « Nous sommes désormais entrés dans une ère où les entreprises doivent s’assurer que les produits d’IA générative disposent de protections et de garde-fous appropriés à chaque étape du cycle de vie du produit », a déclaré Grant, notant qu’eSafety « enquêtera et prendra les mesures appropriées » en utilisant toute sa gamme d’outils réglementaires. Les deepfakes en augmentation En septembre, Grant a obtenu la première amende pour deepfake en Australie lorsque le tribunal fédéral a condamné Anthony Rotondo, de Gold Coast, à 212 000 $ (A$343 500) pour avoir publié des deepfakes pornographiques de femmes australiennes de renom. La commissaire à la sécurité en ligne a poursuivi Rotondo en justice en 2023 après qu’il a défié des avis de retrait, déclarant qu’ils « ne signifiaient rien pour lui » puisqu’il n’était pas résident australien, puis a envoyé par email les images à 50 adresses, y compris le bureau de Grant et des médias, selon un rapport de ABC News. Les législateurs australiens militent pour des protections renforcées contre les deepfakes non consensuels au-delà des lois existantes. Le sénateur indépendant David Pocock a présenté en novembre le projet de loi « Amélioration de la sécurité en ligne et autres législations (My Face, My Rights) », qui permettrait de condamner à une amende de 102 000 $ (A$165 000) les personnes partageant des deepfakes non consensuels, et les entreprises risqueraient jusqu’à 510 000 $ (A$825 000) en cas de non-respect des avis de retrait. « Nous vivons maintenant dans un monde où de plus en plus, n’importe qui peut créer un deepfake et l’utiliser comme bon lui semble », a déclaré Pocock dans un communiqué, critiquant le gouvernement pour son « sommeil au volant » en matière de protections de l’IA.