Bittensor का Subnet 3 विकेंद्रीकृत नेटवर्क पर 72B AI मॉडल को प्रशिक्षित करता है

संक्षिप्त सारांश:

• Covenant-72B ने MMLU ज़ीरो-शॉट पर 67.1 स्कोर किया, जो समान परीक्षण शर्तों के तहत LLaMA-2-70B के 65.6 को पीछे छोड़ता है।
• SparseLoCo ने नोड्स में स्पार्सिफिकेशन, 2-बिट क्वांटाइज़ेशन और एरर फीडबैक का उपयोग करके संचार ओवरहेड को 146 गुना कम किया।
• Gauntlet ने लॉस इवैल्यूएशन और OpenSkill रैंकिंग के माध्यम से प्रत्येक नोड के योगदान को स्कोर किया, जो सभी ब्लॉकचेन पर रिकॉर्ड किए गए।
• घोषणा के बाद $TAO 14% बढ़कर $236 तक पहुंच गया, जिसमें Grayscale ने संस्थागत निवेशक पहुंच के लिए अपने TAO ट्रस्ट का विस्तार किया।
  

Bittensor के Subnet 3 ने केंद्रीय डेटा सेंटर के बिना 72-बिलियन-पैरामीटर AI मॉडल को प्रशिक्षित किया है। Covenant-72B नाम का यह मॉडल 70 से अधिक वैश्विक प्रतिभागियों के सहयोग से बनाया गया था।

सभी नोड्स मानक होम इंटरनेट के माध्यम से जुड़े हुए हैं। Covenant-72B ने MMLU बेंचमार्क पर Meta के LLaMA-2-70B को पीछे छोड़ दिया, जिसमें 65.6 के मुकाबले 67.1 स्कोर किया।

परीक्षण समान ज़ीरो-शॉट शर्तों के तहत चलाया गया। यह परिणाम विकेंद्रीकृत कंप्यूट क्या हासिल कर सकता है, इसके बारे में लंबे समय से चली आ रही धारणाओं को चुनौती देता है।

दो तकनीकी नवाचारों ने विकेंद्रीकृत प्रशिक्षण को संचालित किया

वर्षों से, AI क्रिप्टो परियोजनाओं ने दावा किया कि विकेंद्रीकृत कंप्यूट केंद्रीकृत लैब्स का मुकाबला कर सकता है। Bittensor का Subnet 3 अब उस दावे को मापने योग्य परिणामों के साथ समर्थन देता है।

प्रशिक्षण में दुनिया भर के 70 से अधिक नोड्स में 1.1 ट्रिलियन टोकन शामिल थे। प्रत्येक नोड 500 Mb/s कमोडिटी इंटरनेट कनेक्शन पर चला।

दो मुख्य नवाचारों ने प्रशिक्षण के इस पैमाने को संभव बनाया। SparseLoCo ने पूरी प्रक्रिया के दौरान संचार ओवरहेड को 146 गुना कम किया।

इसने सभी नोड्स को सिंक में रखने के लिए टॉप-k स्पार्सिफिकेशन, 2-बिट क्वांटाइज़ेशन और एरर फीडबैक को संयोजित किया। नेटवर्क में समन्वय प्रबंधित करने के लिए किसी केंद्रीय सर्वर की आवश्यकता नहीं थी।

दूसरे नवाचार, Gauntlet ने प्रशिक्षण के दौरान विश्वास और योगदान स्कोरिंग को संभाला। इसने लॉस इवैल्यूएशन और OpenSkill रैंकिंग के माध्यम से प्रत्येक नोड का आकलन किया।

पूर्ण पारदर्शिता के लिए सभी स्कोर ब्लॉकचेन पर लॉग किए गए। इससे प्रत्येक प्रतिभागी को उनके योगदान का सत्यापन योग्य रिकॉर्ड मिला।

Milk Road ने सोशल मीडिया के माध्यम से परिणाम पर रिपोर्ट की, यह नोट करते हुए कि वितरित नेटवर्क अब प्रतिस्पर्धात्मक रूप से बड़े मॉडल को प्रशिक्षित कर सकते हैं। मॉडल वेट Apache License के तहत Hugging Face पर उपलब्ध हैं।

कोई भी बिना किसी लागत के Covenant-72B तक पहुंच, उपयोग या निर्माण कर सकता है। यह खुला दृष्टिकोण इसे आज उपलब्ध कई प्रतिबंधित, मालिकाना AI मॉडल से अलग करता है।

Covenant-72B परिणामों पर बाजार की प्रतिक्रिया के रूप में $TAO बढ़ा

Covenant-72B प्रशिक्षण की खबर सार्वजनिक रूप से फैलने के बाद बाजार तेजी से चला। Bittensor का नेटिव टोकन $TAO, घोषणा के बाद 14% बढ़कर $236 तक पहुंच गया।

टोकन ने पिछली 30-दिन की अवधि में भी 36% की बढ़ोतरी की थी। पिछले छह महीनों में ट्रेडिंग वॉल्यूम 167% बढ़ा।

Grayscale ने घोषणा के उसी सप्ताह अपने TAO ट्रस्ट का विस्तार किया। उस कदम ने सीधे टोकन तक व्यापक संस्थागत पहुंच खोली।

यह तब आया जब AI से जुड़ी क्रिप्टो संपत्तियों में निवेशक रुचि बढ़ती जा रही थी। समय ने टोकन की कीमत की गति पर और ऊपर की ओर दबाव डाला।

तकनीकी परिणाम और संस्थागत रुचि के संयोजन ने व्यापक बाजार का ध्यान आकर्षित किया। Covenant-72B का MMLU स्कोर विकेंद्रीकृत कंप्यूट को एक विश्वसनीय, परीक्षण योग्य बेंचमार्क देता है।

परिणाम मापने योग्य है और मानक शर्तों के तहत पुन: उत्पादित किया जा सकता है। यह इसे AI क्रिप्टो स्पेस में कई पहले के असत्यापित दावों से स्पष्ट रूप से अलग करता है।

Hugging Face पर Apache-लाइसेंस प्राप्त वेट किसी भी डेवलपर को स्वतंत्र रूप से काम को सत्यापित करने की अनुमति देते हैं। Bittensor का दृष्टिकोण समुदाय-संचालित AI मॉडल प्रशिक्षण के लिए एक कार्यशील ढांचा दिखाता है।

नेटवर्क किसी भी समय बिना केंद्रीय समन्वय के 70 से अधिक प्रतिभागियों में चला। यह आगे बढ़ने के लिए वितरित बड़े-मॉडल प्रशिक्षण के लिए एक कार्यशील मिसाल स्थापित करता है।

यह पोस्ट Bittensor's Subnet 3 Trains 72B AI Model on Decentralized Network पहली बार Blockonomi पर प्रकाशित हुई।