ओपन-सोर्स AI मॉडल आपराधिक दुरुपयोग के प्रति संवेदनशील, शोधकर्ताओं ने चेतावनी दी

गुरुवार, 29 जनवरी को शोधकर्ताओं ने कहा कि हैकर्स और अन्य अपराधी प्रमुख आर्टिफिशियल-इंटेलिजेंस प्लेटफॉर्म की सुरक्षा बाधाओं और प्रतिबंधों के बाहर ओपन-सोर्स लार्ज लैंग्वेज मॉडल चलाने वाले कंप्यूटरों को आसानी से अपने नियंत्रण में ले सकते हैं, जिससे सुरक्षा जोखिम और कमजोरियां उत्पन्न होती हैं।

शोधकर्ताओं ने कहा कि हैकर्स LLM चलाने वाले कंप्यूटरों को निशाना बना सकते हैं और उन्हें स्पैम ऑपरेशन, फिशिंग कंटेंट निर्माण, या गलत सूचना अभियान चलाने के लिए निर्देशित कर सकते हैं, जिससे प्लेटफॉर्म सुरक्षा प्रोटोकॉल को दरकिनार किया जा सकता है।

साइबर सुरक्षा कंपनियों SentinelOne और Censys द्वारा 293 दिनों के दौरान संयुक्त रूप से किया गया और Reuters के साथ विशेष रूप से साझा किया गया यह शोध, हजारों ओपन-सोर्स LLM परिनियोजनों के संभावित अवैध उपयोग के पैमाने पर एक नई दृष्टि प्रदान करता है। शोधकर्ताओं ने कहा कि इनमें हैकिंग, घृणास्पद भाषण और उत्पीड़न, हिंसक या भयावह सामग्री, व्यक्तिगत डेटा की चोरी, घोटाले या धोखाधड़ी, और कुछ मामलों में बाल यौन शोषण सामग्री शामिल है।

शोधकर्ताओं के अनुसार, जबकि हजारों ओपन-सोर्स LLM संस्करण मौजूद हैं, इंटरनेट-सुलभ होस्ट पर LLM का एक महत्वपूर्ण हिस्सा Meta के Llama, Google DeepMind के Gemma, और अन्य के संस्करण हैं। जबकि कुछ ओपन-सोर्स मॉडल में सुरक्षा बाधाएं शामिल हैं, शोधकर्ताओं ने सैकड़ों उदाहरणों की पहचान की जहां सुरक्षा बाधाओं को स्पष्ट रूप से हटा दिया गया था।

SentinelOne में इंटेलिजेंस और सुरक्षा अनुसंधान के कार्यकारी निदेशक Juan Andres Guerrero-Saade ने कहा कि सुरक्षा नियंत्रण के बारे में AI उद्योग की बातचीत "इस तरह की अतिरिक्त क्षमता को नजरअंदाज कर रही है जिसका स्पष्ट रूप से सभी प्रकार की विभिन्न चीजों के लिए उपयोग किया जा रहा है, जिनमें से कुछ वैध हैं, कुछ स्पष्ट रूप से आपराधिक हैं।" Guerrero-Saade ने स्थिति की तुलना एक "आइसबर्ग" से की जिसे उद्योग और ओपन-सोर्स समुदाय में ठीक से नहीं गिना जा रहा है।

अध्ययन सिस्टम प्रॉम्प्ट की जांच करता है

शोध ने Ollama के माध्यम से तैनात ओपन-सोर्स LLM की सार्वजनिक रूप से सुलभ तैनाती का विश्लेषण किया, एक ऐसा टूल जो लोगों और संगठनों को विभिन्न लार्ज-लैंग्वेज मॉडल के अपने संस्करण चलाने की अनुमति देता है।

शोधकर्ता सिस्टम प्रॉम्प्ट देखने में सक्षम थे, जो वे निर्देश हैं जो यह निर्धारित करते हैं कि मॉडल कैसे व्यवहार करता है, उनके द्वारा देखे गए लगभग एक चौथाई LLM में। उनमें से, उन्होंने निर्धारित किया कि 7.5% संभावित रूप से हानिकारक गतिविधि को सक्षम कर सकते हैं।

शोधकर्ताओं द्वारा देखे गए लगभग 30% होस्ट चीन से संचालित हो रहे हैं, और लगभग 20% अमेरिका में।

Global Center on AI Governance की CEO और संस्थापक Rachel Adams ने एक ईमेल में कहा कि एक बार ओपन मॉडल जारी हो जाने के बाद, आगे क्या होता है इसकी जिम्मेदारी पूरे इकोसिस्टम में साझा हो जाती है, जिसमें मूल प्रयोगशालाएं भी शामिल हैं।

Adams ने कहा, "प्रयोगशालाएं हर डाउनस्ट्रीम दुरुपयोग के लिए जिम्मेदार नहीं हैं (जिनका अनुमान लगाना कठिन है), लेकिन वे पूर्वानुमानित नुकसान का अनुमान लगाने, जोखिमों का दस्तावेजीकरण करने, और शमन टूलिंग और मार्गदर्शन प्रदान करने की एक महत्वपूर्ण देखभाल कर्तव्य बनाए रखती हैं, विशेष रूप से असमान वैश्विक प्रवर्तन क्षमता को देखते हुए।"

Meta के एक प्रवक्ता ने ओपन-सोर्स मॉडल के डाउनस्ट्रीम दुरुपयोग से संबंधित चिंताओं को संबोधित करने के लिए डेवलपर्स की जिम्मेदारियों और चिंताओं की रिपोर्ट कैसे की जा सकती है, इस बारे में सवालों का जवाब देने से इनकार कर दिया, लेकिन Llama डेवलपर्स के लिए कंपनी के Llama Protection टूल्स, और कंपनी की Meta Llama Responsible Use Guide का उल्लेख किया।

Microsoft AI Red Team Lead Ram Shankar Siva Kumar ने एक ईमेल में कहा कि Microsoft का मानना है कि ओपन-सोर्स मॉडल विभिन्न क्षेत्रों में "एक महत्वपूर्ण भूमिका निभाते हैं", लेकिन, "साथ ही, हम स्पष्ट हैं कि ओपन मॉडल, सभी परिवर्तनकारी प्रौद्योगिकियों की तरह, यदि उचित सुरक्षा उपायों के बिना जारी किए जाते हैं तो विरोधियों द्वारा दुरुपयोग किया जा सकता है।"

उन्होंने कहा कि Microsoft पूर्व-रिलीज मूल्यांकन करता है, जिसमें "इंटरनेट-एक्सपोज़्ड, स्व-होस्टेड, और टूल-कॉलिंग परिदृश्यों के लिए जोखिमों का आकलन करने" की प्रक्रियाएं शामिल हैं, जहां दुरुपयोग उच्च हो सकता है। कंपनी उभरते खतरों और दुरुपयोग पैटर्न की भी निगरानी करती है। "अंततः, जिम्मेदार ओपन इनोवेशन के लिए रचनाकारों, तैनाती करने वालों, शोधकर्ताओं और सुरक्षा टीमों में साझा प्रतिबद्धता की आवश्यकता होती है।"

Ollama ने टिप्पणी के अनुरोध का जवाब नहीं दिया। Alphabet के Google और Anthropic ने सवालों का जवाब नहीं दिया। – Rappler.com