NVIDIA CCCL 3.1 GPU कंप्यूटिंग के लिए फ्लोटिंग-पॉइंट डिटर्मिनिज्म कंट्रोल जोड़ता है
Caroline Bishop 05 मार्च, 2026 17:46
NVIDIA का CCCL 3.1 समानांतर रिडक्शन के लिए तीन डिटर्मिनिज्म स्तर पेश करता है, जो डेवलपर्स को GPU गणनाओं में पुनरुत्पादकता के लिए प्रदर्शन का आदान-प्रदान करने देता है।
NVIDIA ने CUDA Core Compute Libraries (CCCL) 3.1 में डिटर्मिनिज्म कंट्रोल जारी किया है, जो समानांतर GPU कंप्यूटिंग में एक लगातार समस्या को संबोधित करता है: कई रन और विभिन्न हार्डवेयर में फ्लोटिंग-पॉइंट ऑपरेशन से समान परिणाम प्राप्त करना।
यह अपडेट CUB के नए सिंगल-फेज़ API के माध्यम से तीन कॉन्फ़िगर करने योग्य डिटर्मिनिज्म स्तर पेश करता है, जो डेवलपर्स को पुनरुत्पादकता-बनाम-प्रदर्शन ट्रेडऑफ़ पर स्पष्ट नियंत्रण देता है जो वर्षों से GPU एप्लिकेशन को परेशान कर रहा है।
फ्लोटिंग-पॉइंट डिटर्मिनिज्म क्यों मायने रखता है
यहाँ समस्या है: फ्लोटिंग-पॉइंट जोड़ पूरी तरह से साहचर्य नहीं है। सीमित सटीकता पर राउंडिंग के कारण, (a + b) + c हमेशा a + (b + c) के बराबर नहीं होता है। जब समानांतर थ्रेड्स अप्रत्याशित क्रम में मानों को संयोजित करते हैं, तो आपको प्रत्येक रन में थोड़े अलग परिणाम मिलते हैं। कई अनुप्रयोगों के लिए—वित्तीय मॉडलिंग, वैज्ञानिक सिमुलेशन, ब्लॉकचेन गणना, मशीन लर्निंग प्रशिक्षण—यह असंगति वास्तविक समस्याएं पैदा करती है।
नया API डेवलपर्स को तीन मोड के माध्यम से यह निर्दिष्ट करने देता है कि उन्हें कितनी पुनरुत्पादकता की आवश्यकता है:
गारंटीड नहीं डिटर्मिनिज्म कच्ची गति को प्राथमिकता देता है। यह एटॉमिक ऑपरेशन का उपयोग करता है जो जिस भी क्रम में थ्रेड्स चलते हैं उसमें निष्पादित होते हैं, एक ही कर्नेल लॉन्च में रिडक्शन को पूरा करते हैं। परिणाम रन के बीच थोड़ा भिन्न हो सकते हैं, लेकिन उन अनुप्रयोगों के लिए जहां अनुमानित उत्तर पर्याप्त हैं, प्रदर्शन लाभ पर्याप्त हैं—विशेष रूप से छोटे इनपुट एरे पर जहां कर्नेल लॉन्च ओवरहेड हावी होता है।
रन-टू-रन डिटर्मिनिज्म (डिफ़ॉल्ट) समान इनपुट, कर्नेल कॉन्फ़िगरेशन और GPU का उपयोग करते समय समान आउटपुट की गारंटी देता है। NVIDIA इसे एटॉमिक्स पर निर्भर रहने के बजाय निश्चित श्रेणीबद्ध ट्री के रूप में रिडक्शन की संरचना करके प्राप्त करता है। एलिमेंट्स पहले थ्रेड्स के भीतर संयोजित होते हैं, फिर शफल निर्देशों के माध्यम से वार्प्स में, फिर शेयर्ड मेमोरी का उपयोग करके ब्लॉक्स में, एक दूसरे कर्नेल के साथ अंतिम परिणामों को एकत्रित करते हैं।
GPU-टू-GPU डिटर्मिनिज्म सबसे सख्त पुनरुत्पादकता प्रदान करता है, विभिन्न NVIDIA GPU में समान परिणाम सुनिश्चित करता है। कार्यान्वयन एक रीप्रोड्यूसिबल फ्लोटिंग-पॉइंट एक्युमुलेटर (RFA) का उपयोग करता है जो इनपुट मानों को निश्चित एक्सपोनेंट रेंज में समूहित करता है—डिफ़ॉल्ट रूप से तीन बिन—गैर-साहचर्य मुद्दों का मुकाबला करने के लिए जो विभिन्न परिमाणों वाली संख्याओं को जोड़ते समय उत्पन्न होते हैं।
प्रदर्शन ट्रेडऑफ़
H200 GPU पर NVIDIA के बेंचमार्क पुनरुत्पादकता की लागत को मापते हैं। GPU-टू-GPU डिटर्मिनिज्म शिथिल मोड की तुलना में बड़े समस्या आकार के लिए निष्पादन समय को 20% से 30% तक बढ़ाता है। रन-टू-रन डिटर्मिनिज्म दो चरम सीमाओं के बीच स्थित है।
तीन-बिन RFA कॉन्फ़िगरेशन वह प्रदान करता है जिसे NVIDIA सटीकता और गति को संतुलित करने वाला "इष्टतम डिफ़ॉल्ट" कहता है। अधिक बिन संख्यात्मक सटीकता में सुधार करते हैं लेकिन मध्यवर्ती योग जोड़ते हैं जो निष्पादन को धीमा करते हैं।
कार्यान्वयन विवरण
डेवलपर्स cuda::execution::require() के माध्यम से नए नियंत्रणों तक पहुंचते हैं, जो रिडक्शन फ़ंक्शन को पास किए गए निष्पादन पर्यावरण ऑब्जेक्ट का निर्माण करता है। सिंटैक्स सीधा है—आवश्यकताओं के आधार पर डिटर्मिनिज्म को not_guaranteed, run_to_run, या gpu_to_gpu पर सेट करें।
यह सुविधा केवल CUB के सिंगल-फेज़ API के साथ काम करती है; पुराना टू-फेज़ API निष्पादन पर्यावरण को स्वीकार नहीं करता है।
व्यापक प्रभाव
क्रॉस-प्लेटफ़ॉर्म फ्लोटिंग-पॉइंट पुनरुत्पादकता उच्च-प्रदर्शन कंप्यूटिंग और ब्लॉकचेन अनुप्रयोगों में एक ज्ञात चुनौती रही है, जहां विभिन्न कंपाइलर, अनुकूलन फ़्लैग और हार्डवेयर आर्किटेक्चर गणितीय रूप से समान ऑपरेशन से भिन्न परिणाम उत्पन्न कर सकते हैं। NVIDIA का कार्यान्वयन विवरण छिपाने के बजाय स्पष्ट रूप से डिटर्मिनिज्म को कॉन्फ़िगर करने योग्य पैरामीटर के रूप में उजागर करने का दृष्टिकोण एक व्यावहारिक समाधान का प्रतिनिधित्व करता है।
कंपनी अतिरिक्त समानांतर प्रिमिटिव के लिए रिडक्शन से परे डिटर्मिनिज्म कंट्रोल का विस्तार करने की योजना बना रही है। डेवलपर्स NVIDIA के GitHub रिपॉजिटरी के माध्यम से प्रगति को ट्रैक कर सकते हैं और विशिष्ट एल्गोरिदम का अनुरोध कर सकते हैं, जहां एक खुला मुद्दा विस्तारित डिटर्मिनिज्म रोडमैप को ट्रैक करता है।
छवि स्रोत: Shutterstock- nvidia
- gpu computing
- cccl
- floating-point determinism
- cuda
