OpenAI、Anthropic 危機承包商著眼於打擊極端主義行動

澳洲雪梨 – 在 ChatGPT 上表現出暴力極端主義傾向的人,將透過紐西蘭正在開發的新工具,被導向由真人和聊天機器人提供的去激進化支援,該工具背後的開發人員表示。

面對越來越多控告 AI 公司未能阻止甚至助長暴力的訴訟,這項計畫是解決安全疑慮的最新嘗試。

OpenAI 在二月時遭到加拿大政府威脅介入,因為該平台在未通知當局的情況下,封禁了一名實施致命校園槍擊案的人員。

ThroughLine 是一家近年來被 ChatGPT 所有者 OpenAI 以及競爭對手 Anthropic 和 Google 聘用的新創公司,當使用者被標記為有自我傷害、家庭暴力或飲食失調風險時,會將他們轉向危機支援。該公司創辦人暨前青年工作者 Elliot Taylor 表示,公司也正在探索擴大服務範圍的方法,包括預防暴力極端主義。

這位前青年工作者表示,該公司正在與「基督城呼籲」進行討論。「基督城呼籲」是紐西蘭在 2019 年發生最嚴重恐怖攻擊後成立的消除網路仇恨計畫,該合作將由反極端主義組織提供指導,而 ThroughLine 則負責開發介入聊天機器人。

Taylor 在訪談中表示:「這是我們想要推進的方向,希望能做得更好,進而能更好地支援平台。」他補充說,目前尚未設定時間表。

OpenAI 證實與 ThroughLine 的合作關係,但拒絕進一步評論。Anthropic 和 Google 未立即回應評論請求。

Taylor 在紐西蘭鄉村家中經營的公司,憑藉其提供遍布 180 個國家、持續審查的 1,600 條求助熱線網路,已成為 AI 公司的首選。

一旦 AI 偵測到潛在心理健康危機的跡象,就會將使用者導向 ThroughLine,由其媒合附近可用的真人服務。

但創辦人表示,ThroughLine 的範圍一直僅限於特定類別。隨著 AI 聊天機器人的普及,人們在網路上揭露的心理健康問題範圍已大幅擴增,現在也包括與極端主義的接觸,他補充說。

更多聊天機器人,更多問題

Taylor 表示,反極端主義工具可能會是一種混合模式,結合經過訓練以回應表現出極端主義跡象者的聊天機器人,以及轉介至現實世界的心理健康服務。

他說:「我們不使用基礎 LLM 的訓練資料」,指的是大型語言模型平台用於形成連貫文本的通用資料集。「我們正在與正確的專家合作。」該技術目前正在測試中,但尚未設定發布日期。

代表「基督城呼籲」的反恐顧問 Galen Lamphere-Englund 表示,他希望將該產品推廣給遊戲論壇的版主,以及希望清除網路極端主義的家長和照顧者。

昆士蘭科技大學的 AI 研究員 Henry Fraser 表示,聊天機器人重新導向工具是「一個好且必要的想法,因為它認識到問題不僅僅是內容,還有關係動態」。

他說,該產品的成功可能取決於「後續機制有多好,以及他們將人們引導至的結構和關係在解決問題方面有多好」等問題。

Taylor 表示,後續功能(包括可能向當局發出有關危險使用者的警報)仍有待確定,但會考慮觸發行為升級的任何風險。

他說,處於困境中的人往往會在網路上分享他們不好意思當面說的事情,如果政府向平台施壓,要求切斷參與敏感對話的使用者,可能會加劇危險。

根據紐約大學史登商業與人權中心 2025 年的研究,在執法部門壓力下,平台加強與激進主義相關的審核,導致同情者轉向 Telegram 等監管較少的替代平台。

Taylor 說:「如果你與 AI 交談並揭露危機,但它關閉了對話,沒有人知道這件事發生了,那個人可能仍然沒有得到支援。」– Rappler.com