न्यूड AI इमेज: अमेरिका में 'टेक इट डाउन एक्ट' यूजर्स को तेजी से हटाने का अनुरोध करने देगा

दिसंबर 2025 के अंत से, X के आर्टिफिशियल इंटेलिजेंस चैटबॉट, Grok ने कई उपयोगकर्ताओं की वास्तविक लोगों को नग्न करने की अनुरोधों का जवाब देते हुए लोगों की तस्वीरों को यौन रूप से स्पष्ट सामग्री में बदल दिया है। लोगों द्वारा इस सुविधा का उपयोग शुरू करने के बाद, सोशल प्लेटफॉर्म कंपनी को वास्तविक लोगों की गैर-सहमति से यौन रूप से स्पष्ट चित्रण उत्पन्न करने में सक्षम बनाने के लिए वैश्विक जांच का सामना करना पड़ा।

Grok अकाउंट ने प्रति घंटे हजारों "नग्न" और यौन रूप से उत्तेजक छवियां पोस्ट की हैं। और भी चिंताजनक बात यह है कि Grok ने नाबालिगों की यौन छवियां और यौन रूप से स्पष्ट सामग्री उत्पन्न की है।

X की प्रतिक्रिया: प्लेटफॉर्म के उपयोगकर्ताओं को दोष दें, हमें नहीं। कंपनी ने 3 जनवरी, 2026 को एक बयान जारी किया, जिसमें कहा गया कि "अवैध सामग्री बनाने के लिए Grok का उपयोग या निर्देश देने वाले किसी भी व्यक्ति को वैसे ही परिणाम भुगतने होंगे जैसे कि उन्होंने अवैध सामग्री अपलोड की हो।" यह स्पष्ट नहीं है कि X ने किसी भी उपयोगकर्ता के खिलाफ कोई कार्रवाई की है या नहीं।

कानून और उभरती प्रौद्योगिकियों के प्रतिच्छेदन का अध्ययन करने वाले एक कानूनी विद्वान के रूप में, मैं गैर-सहमति वाली इस छवियों की बाढ़ को X की ढीली सामग्री मॉडरेशन नीतियों और शक्तिशाली जेनरेटिव AI उपकरणों की सुलभता के संयोजन के एक अनुमानित परिणाम के रूप में देखता हूं।

उपयोगकर्ताओं को लक्षित करना

जेनरेटिव AI में तेजी से वृद्धि के कारण अनगिनत वेबसाइट, ऐप और चैटबॉट सामने आए हैं जो उपयोगकर्ताओं को यौन रूप से स्पष्ट सामग्री उत्पन्न करने की अनुमति देते हैं, जिसमें वास्तविक बच्चों की छवियों का "नग्नीकरण" भी शामिल है। लेकिन ये ऐप और वेबसाइट X जैसे प्रमुख सोशल मीडिया प्लेटफॉर्म के रूप में व्यापक रूप से ज्ञात या उपयोग नहीं किए जाते हैं।

राज्य विधानसभाओं और कांग्रेस ने कुछ हद तक त्वरित प्रतिक्रिया दी। मई 2025 में, कांग्रेस ने Take It Down Act लागू किया, जो वास्तविक लोगों की गैर-सहमति वाली यौन रूप से स्पष्ट सामग्री प्रकाशित करने को आपराधिक अपराध बनाता है। Take It Down Act पहचान योग्य लोगों के "अंतरंग दृश्य चित्रण" की गैर-सहमति से प्रकाशन और AI- या अन्यथा कंप्यूटर-जनित पहचान योग्य लोगों के चित्रण दोनों को अपराध घोषित करता है।

वे आपराधिक प्रावधान केवल यौन रूप से स्पष्ट सामग्री पोस्ट करने वाले किसी भी व्यक्ति पर लागू होते हैं, न कि सामग्री वितरित करने वाले प्लेटफॉर्म पर, जैसे सोशल मीडिया वेबसाइट।

हालांकि, Take It Down Act के अन्य प्रावधानों में प्लेटफॉर्म को चित्रित लोगों के लिए छवि हटाने का अनुरोध करने के लिए एक प्रक्रिया स्थापित करने की आवश्यकता होती है। एक बार "Take It Down Request" जमा किए जाने के बाद, एक प्लेटफॉर्म को 48 घंटों के भीतर यौन रूप से स्पष्ट चित्रण को हटाना होगा। लेकिन ये आवश्यकताएं 19 मई, 2026 तक प्रभावी नहीं होंगी।

प्लेटफॉर्म के साथ समस्याएं

इस बीच, Grok द्वारा निर्मित यौन रूप से स्पष्ट छवियों को हटाने के उपयोगकर्ता अनुरोध स्पष्ट रूप से अनुत्तरित रहे हैं। एलोन मस्क के बच्चों में से एक की मां, Ashley St. Clair भी, Musk के प्रशंसकों द्वारा Grok का उपयोग करके उत्पन्न की गई उनकी नकली यौन छवियों को X द्वारा हटाने में सक्षम नहीं हो सकी हैं। The Guardian की रिपोर्ट है कि St. Clair ने कहा कि उनकी "X स्टाफ को शिकायतें कहीं नहीं पहुंचीं।"

यह मुझे आश्चर्यचकित नहीं करता क्योंकि Musk ने प्लेटफॉर्म अधिग्रहण के तुरंत बाद तत्कालीन-Twitter के Trust and Safety सलाहकार समूह को समाप्त कर दिया और ट्रस्ट और सुरक्षा के लिए समर्पित कंपनी के 80% इंजीनियरों को निकाल दिया। ट्रस्ट और सुरक्षा टीमें आमतौर पर टेक कंपनियों में सामग्री मॉडरेशन और दुरुपयोग को रोकने की पहल के लिए जिम्मेदार होती हैं।

सार्वजनिक रूप से, ऐसा प्रतीत होता है कि Musk ने स्थिति की गंभीरता को खारिज कर दिया है। कथित तौर पर Musk ने कुछ छवियों के जवाब में हंसी-रोना इमोजी पोस्ट किए हैं, और X ने Reuters रिपोर्टर की पूछताछ का जवाब ऑटो-रिप्लाई "Legacy Media Lies" के साथ दिया।

मुकदमों की सीमाएं

नागरिक मुकदमे जैसे Adam Raine के माता-पिता द्वारा दायर किया गया मुकदमा, एक किशोर जिसने अप्रैल 2025 में OpenAI के ChatGPT के साथ बातचीत के बाद आत्महत्या कर ली, प्लेटफॉर्म को जवाबदेह ठहराने का एक तरीका है। लेकिन Communications Decency Act की धारा 230 को देखते हुए संयुक्त राज्य अमेरिका में मुकदमों को एक कठिन लड़ाई का सामना करना पड़ता है, जो आम तौर पर सोशल मीडिया प्लेटफॉर्म को उनके प्लेटफॉर्म पर उपयोगकर्ताओं द्वारा पोस्ट की गई सामग्री के लिए कानूनी दायित्व से छूट देता है।

हालांकि, सुप्रीम कोर्ट के न्यायाधीश Clarence Thomas और कई कानूनी विद्वानों ने तर्क दिया है कि धारा 230 को अदालतों द्वारा बहुत व्यापक रूप से लागू किया गया है। मैं आम तौर पर सहमत हूं कि धारा 230 की छूट को संकीर्ण करने की आवश्यकता है क्योंकि टेक कंपनियों और उनके प्लेटफॉर्म को उनके जानबूझकर डिजाइन विकल्पों के लिए छूट देना — उनका सॉफ्टवेयर कैसे बनाया जाता है, सॉफ्टवेयर कैसे संचालित होता है और सॉफ्टवेयर क्या उत्पन्न करता है — धारा 230 की सुरक्षा के दायरे से बाहर आता है।

इस मामले में, X ने जानबूझकर या लापरवाही से Grok में सुरक्षा उपायों और नियंत्रणों को तैनात करने में विफल रहा है ताकि उपयोगकर्ताओं को पहचान योग्य लोगों की यौन रूप से स्पष्ट छवियां उत्पन्न करने से रोका जा सके। भले ही Musk और X का मानना हो कि उपयोगकर्ताओं के पास Grok का उपयोग करके वयस्कों की यौन रूप से स्पष्ट छवियां उत्पन्न करने की क्षमता होनी चाहिए, मेरा मानना है कि किसी भी दुनिया में X को एक ऐसा उत्पाद बनाने के लिए जवाबदेही से नहीं बचना चाहिए जो वास्तविक जीवन के बच्चों की यौन रूप से स्पष्ट सामग्री उत्पन्न करता है।

नियामक गार्डरेल

यदि लोग नागरिक मुकदमों के माध्यम से X जैसे प्लेटफॉर्म को जवाबदेह नहीं ठहरा सकते हैं, तो उनकी जांच और विनियमन करना संघीय सरकार पर निर्भर करता है। उदाहरण के लिए, Federal Trade Commission, Department of Justice या कांग्रेस, Grok की गैर-सहमति वाली यौन रूप से स्पष्ट सामग्री के उत्पादन के लिए X की जांच कर सकते हैं। लेकिन राष्ट्रपति Donald Trump के साथ Musk के नए राजनीतिक संबंधों के साथ, मुझे जल्द ही किसी गंभीर जांच और जवाबदेही की उम्मीद नहीं है।

फिलहाल, अंतर्राष्ट्रीय नियामकों ने X और Grok के खिलाफ जांच शुरू की है। फ्रांसीसी अधिकारियों ने Grok से "यौन रूप से स्पष्ट डीपफेक के प्रसार" की जांच शुरू की है, और Irish Council for Civil Liberties और Digital Rights Ireland ने Ireland की राष्ट्रीय पुलिस से "सामूहिक नग्नीकरण अभियान" की जांच करने का दृढ़ता से आग्रह किया है। U.K. नियामक एजेंसी Office of Communications ने कहा कि वह इस मामले की जांच कर रही है, और European Commission, भारत और मलेशिया के नियामक भी कथित तौर पर X की जांच कर रहे हैं।

संयुक्त राज्य अमेरिका में, शायद मई में Take It Down Act के प्रभावी होने तक सबसे अच्छी कार्रवाई यह है कि लोग निर्वाचित अधिकारियों से कार्रवाई की मांग करें। – Rappler.com

यह लेख मूल रूप से The Conversation पर प्रकाशित हुआ था।

Wayne Unger, Associate Professor of Law, Quinnipiac University