OpenAI, Anthropic के लिए संकट ठेकेदार चरमपंथ से निपटने के लिए कदम उठाने पर विचार कर रहा है

सिडनी, ऑस्ट्रेलिया – ChatGPT पर हिंसक चरमपंथी प्रवृत्तियां दिखाने वाले लोगों को न्यूज़ीलैंड में विकसित किए जा रहे एक नए टूल के माध्यम से मानव और चैटबॉट-आधारित उग्रवाद-विरोधी समर्थन की ओर निर्देशित किया जाएगा, इसके पीछे के लोगों ने कहा।

यह पहल AI कंपनियों पर हिंसा को रोकने में विफल रहने और यहां तक कि इसे सक्षम बनाने के आरोप लगाने वाले मुकदमों की बढ़ती संख्या के सामने सुरक्षा चिंताओं को संबोधित करने का नवीनतम प्रयास है।

फरवरी में कनाडाई सरकार द्वारा OpenAI को हस्तक्षेप की धमकी दी गई थी, जब यह पता चला कि एक घातक स्कूल शूटिंग करने वाले व्यक्ति को प्लेटफ़ॉर्म द्वारा प्रतिबंधित कर दिया गया था, बिना अधिकारियों को सूचित किए।

ThroughLine, एक स्टार्टअप जिसे हाल के वर्षों में ChatGPT के मालिक OpenAI के साथ-साथ प्रतिद्वंद्वियों Anthropic और Google द्वारा उपयोगकर्ताओं को संकट समर्थन की ओर पुनर्निर्देशित करने के लिए काम पर रखा गया है, जब उन्हें आत्म-हानि, घरेलू हिंसा या खाने के विकार के जोखिम में चिह्नित किया जाता है, हिंसक चरमपंथ को रोकने के लिए अपनी पेशकश को व्यापक बनाने के तरीकों की भी खोज कर रहा है, इसके संस्थापक और पूर्व युवा कार्यकर्ता इलियट टेलर ने कहा।

कंपनी The Christchurch Call के साथ चर्चा कर रही है, जो 2019 में न्यूज़ीलैंड के सबसे खराब आतंकवादी हमले के बाद ऑनलाइन नफरत को खत्म करने के लिए बनाई गई एक पहल है, जिसमें चरमपंथ-विरोधी समूह मार्गदर्शन प्रदान करेगा जबकि ThroughLine हस्तक्षेप चैटबॉट विकसित करता है, पूर्व युवा कार्यकर्ता ने कहा।

"यह कुछ ऐसा है जिसकी ओर हम आगे बढ़ना चाहेंगे और बेहतर कवरेज करना चाहेंगे और फिर प्लेटफ़ॉर्म को बेहतर समर्थन देने में सक्षम होंगे," टेलर ने एक साक्षात्कार में कहा, यह जोड़ते हुए कि कोई समय सीमा निर्धारित नहीं की गई है।

OpenAI ने ThroughLine के साथ संबंध की पुष्टि की लेकिन आगे टिप्पणी करने से इनकार कर दिया। Anthropic और Google ने टिप्पणी के अनुरोधों का तुरंत जवाब नहीं दिया।

टेलर की फर्म, जिसे वह ग्रामीण न्यूज़ीलैंड में अपने घर से चलाते हैं, 180 देशों में 1,600 हेल्पलाइनों के लगातार जांचे गए नेटवर्क की पेशकश के साथ AI फर्मों के लिए एक पसंदीदा बन गई है।

एक बार जब AI संभावित मानसिक स्वास्थ्य संकट के संकेतों का पता लगाता है, तो यह उपयोगकर्ता को ThroughLine की ओर निर्देशित करता है, जो उन्हें पास में उपलब्ध मानव-संचालित सेवा से मिलाता है।

लेकिन ThroughLine का दायरा विशिष्ट श्रेणियों तक सीमित रहा है, संस्थापक ने कहा। लोग ऑनलाइन जो मानसिक स्वास्थ्य संघर्ष प्रकट करते हैं, उनकी व्यापकता AI चैटबॉट्स की लोकप्रियता के साथ विस्फोट हो गई है, और अब इसमें चरमपंथ के साथ संलग्नता भी शामिल है, उन्होंने जोड़ा।

अधिक चैटबॉट, अधिक समस्याएं

चरमपंथ-विरोधी टूल शायद एक हाइब्रिड मॉडल होगा जो चरमपंथ के संकेत दिखाने वाले लोगों को जवाब देने के लिए प्रशिक्षित चैटबॉट और वास्तविक दुनिया की मानसिक स्वास्थ्य सेवाओं के रेफरल को जोड़ता है, टेलर ने कहा।

"हम बेस LLM के प्रशिक्षण डेटा का उपयोग नहीं कर रहे हैं," उन्होंने कहा, सामान्य डेटासेट का संदर्भ देते हुए जो बड़े भाषा मॉडल प्लेटफ़ॉर्म सुसंगत पाठ बनाने के लिए उपयोग करते हैं। "हम सही विशेषज्ञों के साथ काम कर रहे हैं।" प्रौद्योगिकी का वर्तमान में परीक्षण किया जा रहा है, लेकिन रिलीज़ के लिए कोई तारीख निर्धारित नहीं की गई है।

गैलेन लैम्फेयर-एंग्लंड, The Christchurch Call का प्रतिनिधित्व करने वाले एक आतंकवाद-विरोधी सलाहकार, ने कहा कि वह गेमिंग फ़ोरम के मॉडरेटर और माता-पिता और देखभाल करने वालों के लिए उत्पाद को जारी करने की उम्मीद करते हैं जो ऑनलाइन चरमपंथ को खत्म करना चाहते हैं।

एक चैटबॉट पुनर्निर्देशन टूल "एक अच्छा और आवश्यक विचार है क्योंकि यह पहचानता है कि समस्या केवल सामग्री नहीं है, बल्कि संबंध गतिशीलता है," हेनरी फ्रेजर, क्वींसलैंड यूनिवर्सिटी ऑफ टेक्नोलॉजी के एक AI शोधकर्ता ने कहा।

उत्पाद की सफलता इस सवाल पर निर्भर हो सकती है कि "फॉलो-अप तंत्र कितने अच्छे हैं और वे जिन संरचनाओं और संबंधों में लोगों को निर्देशित करते हैं वे समस्या को संबोधित करने में कितने अच्छे हैं," उन्होंने कहा।

टेलर ने कहा कि फॉलो-अप सुविधाएं, जिनमें खतरनाक उपयोगकर्ताओं के बारे में अधिकारियों को संभावित अलर्ट शामिल हैं, अभी भी निर्धारित किए जाने हैं लेकिन बढ़े हुए व्यवहार को ट्रिगर करने के किसी भी जोखिम को ध्यान में रखा जाएगा।

उन्होंने कहा कि संकट में लोग ऑनलाइन ऐसी चीजें साझा करते हैं जो वे किसी व्यक्ति से कहने में बहुत शर्मिंदा होते हैं, और सरकारें खतरे को बढ़ाने का जोखिम उठाती हैं यदि वे संवेदनशील बातचीत में शामिल उपयोगकर्ताओं को काटने के लिए प्लेटफ़ॉर्म पर दबाव डालती हैं।

कानून प्रवर्तन के दबाव में प्लेटफ़ॉर्म द्वारा उग्रवाद से जुड़ी बढ़ी हुई मॉडरेशन ने समर्थकों को Telegram जैसे कम विनियमित विकल्पों की ओर जाते देखा है, न्यूयॉर्क यूनिवर्सिटी के स्टर्न सेंटर फॉर बिजनेस एंड ह्यूमन राइट्स के 2025 के अध्ययन के अनुसार।

"यदि आप एक AI से बात करते हैं और संकट प्रकट करते हैं और यह बातचीत को बंद कर देता है, तो कोई नहीं जानता कि ऐसा हुआ, और वह व्यक्ति अभी भी समर्थन के बिना हो सकता है," टेलर ने कहा। – Rappler.com