Crisiscontractant voor OpenAI, Anthropic overweegt stap om extremisme te bestrijden

SYDNEY, Australië – Mensen die gewelddadige extremistische neigingen vertonen op ChatGPT zullen worden doorverwezen naar menselijke en chatbot-gebaseerde deradicaliseringsondersteuning via een nieuwe tool die wordt ontwikkeld in Nieuw-Zeeland, aldus de mensen erachter.

Het initiatief is de nieuwste poging om veiligheidszorgen aan te pakken in het licht van een groeiend aantal rechtszaken waarin AI-bedrijven worden beschuldigd van het niet stoppen, en zelfs het mogelijk maken, van geweld.

OpenAI werd in februari bedreigd met interventie door de Canadese regering nadat bekend werd dat een persoon die een dodelijke schoolschietpartij had uitgevoerd door het platform was verbannen zonder dat de autoriteiten daarvan op de hoogte waren gesteld.

ThroughLine, een startup die de afgelopen jaren is ingehuurd door ChatGPT-eigenaar OpenAI en concurrenten Anthropic en Google, om gebruikers door te verwijzen naar crisisondersteuning wanneer zij worden gemarkeerd als risico op zelfbeschadiging, huiselijk geweld of een eetstoornis, verkent ook manieren om zijn aanbod uit te breiden met het voorkomen van gewelddadig extremisme, aldus oprichter en voormalig jeugdwerker Elliot Taylor.

Het bedrijf is in gesprek met The Christchurch Call, een initiatief om online haat uit te bannen dat werd opgericht na de ergste terroristische aanslag van Nieuw-Zeeland in 2019, waarbij de anti-extremisme groep begeleiding zou geven terwijl ThroughLine de interventiechatbot ontwikkelt, aldus de voormalig jeugdwerker.

"Het is iets waar we naartoe willen werken en waar we een betere job van willen maken om vervolgens platforms beter te kunnen ondersteunen," zei Taylor in een interview, met de toevoeging dat er geen tijdschema is vastgesteld.

OpenAI bevestigde de relatie met ThroughLine maar weigerde verder commentaar te geven. Anthropic en Google reageerden niet onmiddellijk op verzoeken om commentaar.

Taylor's bedrijf, dat hij vanuit zijn huis op het platteland van Nieuw-Zeeland runt, is een aanloopadres geworden voor AI-bedrijven met zijn aanbod van een constant gecontroleerd netwerk van 1.600 hulplijnen in 180 landen.

Zodra de AI tekenen van een potentiële geestelijke gezondheidscrisis detecteert, stuurt het de gebruiker door naar ThroughLine, dat hen koppelt aan een beschikbare door mensen gerunde dienst in de buurt.

Maar de reikwijdte van ThroughLine is beperkt gebleven tot specifieke categorieën, zei de oprichter. De omvang van mentale gezondheidsproblemen die mensen online openbaar maken is geëxplodeerd met de populariteit van AI-chatbots, en omvat nu ook flirts met extremisme, voegde hij toe.

Meer chatbots, meer problemen

De anti-extremisme tool zou waarschijnlijk een hybride model zijn dat een chatbot combineert die is getraind om te reageren op mensen die tekenen van extremisme vertonen en doorverwijzingen naar echte geestelijke gezondheidsdiensten, zei Taylor.

"We gebruiken niet de trainingsdata van een basis-LLM," zei hij, verwijzend naar de generieke datasets die grote taalmodelplatforms gebruiken om samenhangende tekst te vormen. "We werken met de juiste experts." De technologie wordt momenteel getest, maar er is geen datum vastgesteld voor de release.

Galen Lamphere-Englund, een antiterrorismeadviseur die The Christchurch Call vertegenwoordigt, zei dat hij hoopte het product uit te rollen voor moderators van gamingforums en voor ouders en verzorgers die extremisme online willen uitbannen.

Een chatbot-omleidingstool was "een goed en noodzakelijk idee omdat het erkent dat het niet alleen de inhoud is die het probleem is, maar relatiedynamiek," zei Henry Fraser, een AI-onderzoeker aan de Queensland University of Technology.

Het succes van het product kan afhangen van vragen over "hoe goed zijn de follow-up mechanismen en hoe goed zijn de structuren en relaties waar ze mensen naartoe leiden bij het aanpakken van het probleem," zei hij.

Taylor zei dat follow-up functies, waaronder mogelijke waarschuwingen aan autoriteiten over gevaarlijke gebruikers, nog moesten worden bepaald maar rekening zouden houden met elk risico op het veroorzaken van geëscaleerd gedrag.

Hij zei dat mensen in nood de neiging hadden om online dingen te delen die ze te beschaamd waren om tegen een persoon te zeggen, en dat regeringen het risico liepen het gevaar te vergroten als ze platforms onder druk zetten om gebruikers af te sluiten die gevoelige gesprekken voerden.

Verhoogde moderatie geassocieerd met militantie door platforms onder druk van wetshandhaving heeft sympathisanten zien verhuizen naar minder gereguleerde alternatieven zoals Telegram, volgens een studie uit 2025 van het Stern Center for Business and Human Rights van New York University.

"Als je met een AI praat en de crisis openbaart en het de conversatie afsluit, weet niemand dat dat is gebeurd, en die persoon heeft mogelijk nog steeds geen ondersteuning," zei Taylor. – Rappler.com