Prestataire de crise pour OpenAI, Anthropic envisage une action contre l'extrémisme

SYDNEY, Australie – Les personnes qui montrent des tendances extrémistes violentes sur ChatGPT seront dirigées vers un soutien de déradicalisation basé sur des humains et des chatbots grâce à un nouvel outil en développement en Nouvelle-Zélande, ont déclaré ses créateurs.

Cette initiative est la dernière tentative pour répondre aux préoccupations de sécurité face à un nombre croissant de poursuites judiciaires accusant les entreprises d'IA de ne pas réussir à arrêter, voire de permettre, la violence.

OpenAI a été menacé d'intervention par le gouvernement canadien en février après avoir révélé qu'une personne ayant commis une fusillade meurtrière dans une école avait été bannie de la plateforme sans que les autorités en soient informées.

ThroughLine, une startup embauchée ces dernières années par OpenAI, propriétaire de ChatGPT, ainsi que par ses rivaux Anthropic et Google, pour rediriger les utilisateurs vers un soutien de crise lorsqu'ils sont signalés comme étant à risque d'automutilation, de violence domestique ou de troubles alimentaires, explore également des moyens d'élargir son offre pour inclure la prévention de l'extrémisme violent, a déclaré son fondateur et ancien travailleur auprès des jeunes, Elliot Taylor.

L'entreprise est en discussions avec The Christchurch Call, une initiative visant à éradiquer la haine en ligne créée après la pire attaque terroriste de Nouvelle-Zélande en 2019, qui impliquerait que le groupe anti-extrémisme fournisse des orientations pendant que ThroughLine développe le chatbot d'intervention, a déclaré l'ancien travailleur auprès des jeunes.

« C'est quelque chose vers quoi nous aimerions évoluer et faire un meilleur travail de couverture, puis être en mesure de mieux soutenir les plateformes », a déclaré Taylor dans une interview, ajoutant qu'aucun calendrier n'a été fixé.

OpenAI a confirmé la relation avec ThroughLine mais a refusé de commenter davantage. Anthropic et Google n'ont pas immédiatement répondu aux demandes de commentaires.

L'entreprise de Taylor, qu'il dirige depuis son domicile en Nouvelle-Zélande rurale, est devenue une référence pour les entreprises d'IA avec son offre d'un réseau constamment vérifié de 1 600 lignes d'assistance dans 180 pays.

Une fois que l'IA détecte des signes d'une potentielle crise de santé mentale, elle dirige l'utilisateur vers ThroughLine, qui les met en relation avec un service géré par des humains disponible à proximité.

Mais la portée de ThroughLine a été limitée à des catégories spécifiques, a déclaré le fondateur. L'ampleur des problèmes de santé mentale que les gens divulguent en ligne a explosé avec la popularité des chatbots d'IA, et inclut maintenant des flirts avec l'extrémisme, a-t-il ajouté.

Plus de chatbots, plus de problèmes

L'outil anti-extrémisme serait probablement un modèle hybride combinant un chatbot formé pour répondre aux personnes qui montrent des signes d'extrémisme et des références vers des services de santé mentale du monde réel, a déclaré Taylor.

« Nous n'utilisons pas les données d'entraînement d'un LLM de base », a-t-il déclaré, faisant référence aux ensembles de données génériques que les plateformes de modèles de langage de grande taille utilisent pour former un texte cohérent. « Nous travaillons avec les bons experts. » La technologie est actuellement en cours de test, mais aucune date n'a été fixée pour sa sortie.

Galen Lamphere-Englund, un conseiller en contre-terrorisme représentant The Christchurch Call, a déclaré qu'il espérait déployer le produit pour les modérateurs de forums de jeux et pour les parents et soignants qui souhaitent éliminer l'extrémisme en ligne.

Un outil de réorientation par chatbot était « une bonne et nécessaire idée car il reconnaît que ce n'est pas seulement le contenu qui est le problème, mais les dynamiques relationnelles », a déclaré Henry Fraser, un chercheur en IA à la Queensland University of Technology.

Le succès du produit peut dépendre de questions telles que « l'efficacité des mécanismes de suivi et la qualité des structures et des relations vers lesquelles ils dirigent les gens pour résoudre le problème », a-t-il déclaré.

Taylor a déclaré que les fonctionnalités de suivi, y compris d'éventuelles alertes aux autorités concernant les utilisateurs dangereux, restaient à déterminer mais prendraient en compte tout risque de déclencher un comportement d'escalade.

Il a déclaré que les personnes en détresse avaient tendance à partager des choses en ligne qu'elles étaient trop gênées de dire à une personne, et que les gouvernements risquaient d'aggraver le danger s'ils faisaient pression sur les plateformes pour couper les utilisateurs qui s'engageaient dans des conversations sensibles.

Une modération accrue associée au militantisme par les plateformes sous la pression des forces de l'ordre a vu des sympathisants se tourner vers des alternatives moins réglementées comme Telegram, selon une étude de 2025 du Stern Center for Business and Human Rights de l'Université de New York.

« Si vous parlez à une IA et divulguez la crise et qu'elle ferme la conversation, personne ne sait que cela s'est produit, et cette personne pourrait toujours être sans soutien », a déclaré Taylor. – Rappler.com