Tether ने क्रॉस-प्लेटफ़ॉर्म BitNet LoRA फ्रेमवर्क जारी किया, जो कंज्यूमर-ग्रेड डिवाइस पर बिलियन-पैरामीटर मॉडल की फाइन-ट्यूनिंग को सक्षम बनाता है।

PANews ने 21 मार्च को रिपोर्ट किया कि Tether ने QVAC Fabric में क्रॉस-प्लेटफ़ॉर्म BitNet LoRA फाइन-ट्यूनिंग फ्रेमवर्क की रिलीज़ की घोषणा की, जो Microsoft BitNet (1-bit LLM) की ट्रेनिंग और इंफरेंस के लिए ऑप्टिमाइज़ेशन को सक्षम बनाता है। यह फ्रेमवर्क कंप्यूटिंग पावर और मेमोरी आवश्यकताओं को काफी कम करता है, जिससे अरबों-पैरामीटर मॉडल को लैपटॉप, कंज्यूमर-ग्रेड GPUs और स्मार्टफोन पर ट्रेन और फाइन-ट्यून किया जा सकता है।

यह समाधान पहली बार मोबाइल GPUs (Adreno, Mali और Apple Bionic सहित) पर BitNet मॉडल की फाइन-ट्यूनिंग को सक्षम बनाता है। परीक्षणों से पता चलता है कि 125M पैरामीटर मॉडल को लगभग 10 मिनट में, 1B मॉडल को लगभग 1 घंटे में फाइन-ट्यून किया जा सकता है, और इसे मोबाइल डिवाइस पर 13B पैरामीटर मॉडल तक भी विस्तारित किया जा सकता है।

इसके अलावा, फ्रेमवर्क Intel, AMD और Apple Silicon जैसे विषम हार्डवेयर का समर्थन करता है, और पहली बार गैर-NVIDIA डिवाइस पर 1-bit LLM LoRA फाइन-ट्यूनिंग को प्राप्त करता है। प्रदर्शन के मामले में, BitNet मॉडल मोबाइल GPUs पर CPUs की तुलना में 2 से 11 गुना तेज इंफरेंस स्पीड प्राप्त करता है, जबकि पारंपरिक 16-bit मॉडल की तुलना में मेमोरी उपयोग को लगभग 77.8% तक कम करता है।

Tether ने कहा कि इस तकनीक में हाई-एंड कंप्यूटिंग पावर और क्लाउड इंफ्रास्ट्रक्चर पर निर्भरता को तोड़ने की क्षमता है, AI ट्रेनिंग के विकास को विकेंद्रीकरण और स्थानीयकरण की ओर बढ़ावा देती है, और फेडरेटेड लर्निंग जैसे नए एप्लिकेशन परिदृश्यों के लिए आधार प्रदान करती है।