Sieć podrzędna 3 Bittensor trenuje model AI o pojemności 72B w sieci zdecentralizowanej

TLDR:

• Covenant-72B uzyskał wynik 67,1 w teście MMLU zero-shot, pokonując LLaMA-2-70B z wynikiem 65,6 w identycznych warunkach testowych.
• SparseLoCo zredukował koszty komunikacji 146-krotnie, wykorzystując rzadkość, 2-bitową kwantyzację i informację zwrotną o błędach w węzłach.
• Gauntlet ocenił wkład każdego węzła poprzez ewaluację strat i ranking OpenSkill, wszystko zapisane w blockchainie.
• $TAO wzrósł o 14% do $236 po ogłoszeniu, a Grayscale rozszerzył swój fundusz TAO o dostęp dla inwestorów instytucjonalnych.
  

Subnet 3 Bittensor wytrenował model AI z 72 miliardami parametrów bez centralnego centrum danych. Model o nazwie Covenant-72B został zbudowany przez ponad 70 uczestników z całego świata.

Wszystkie węzły są połączone za pośrednictwem standardowego domowego internetu. Covenant-72B przewyższył LLaMA-2-70B Meta w benchmarku MMLU, uzyskując wynik 67,1 w porównaniu do 65,6.

Test został przeprowadzony w identycznych warunkach zero-shot. Ten wynik podważa długoletnie założenia dotyczące możliwości zdecentralizowanych obliczeń.

Dwie innowacje techniczne napędziły zdecentralizowane szkolenie

Przez lata projekty kryptowalutowe AI twierdziły, że zdecentralizowane obliczenia mogą dorównać scentralizowanym laboratoriom. Subnet 3 Bittensor potwierdza teraz to twierdzenie mierzalnymi wynikami.

Szkolenie objęło 1,1 biliona tokenów w ponad 70 węzłach na całym świecie. Każdy węzeł działał na standardowych połączeniach internetowych 500 Mb/s.

Dwie kluczowe innowacje umożliwiły szkolenie na taką skalę. SparseLoCo zredukował koszty komunikacji 146-krotnie w całym procesie.

Połączył rzadkość top-k, 2-bitową kwantyzację i informację zwrotną o błędach, aby utrzymać synchronizację wszystkich węzłów. Nie był potrzebny żaden centralny serwer do zarządzania koordynacją w sieci.

Druga innowacja, Gauntlet, zajmowała się zaufaniem i oceną wkładu podczas szkolenia. Oceniała każdy węzeł poprzez ewaluację strat i ranking OpenSkill.

Wszystkie wyniki zostały zarejestrowane w blockchainie dla pełnej przejrzystości. Dzięki temu każdy uczestnik otrzymał weryfikowalny zapis swojego wkładu.

Milk Road poinformował o wyniku za pośrednictwem mediów społecznościowych, zauważając, że rozproszone sieci mogą teraz konkurencyjnie trenować duże modele. Wagi modelu są dostępne na Hugging Face na licencji Apache.

Każdy może uzyskać dostęp, używać lub budować na Covenant-72B bez żadnych kosztów. To otwarte podejście odróżnia go od wielu ograniczonych, zastrzeżonych modeli AI dostępnych obecnie.

$TAO rośnie w miarę jak rynek reaguje na wyniki Covenant-72B

Rynek zareagował szybko po publicznym ogłoszeniu informacji o szkoleniu Covenant-72B. $TAO, natywny token Bittensor, wzrósł o 14% do $236 po ogłoszeniu.

Token zyskał również 36% w ciągu poprzednich 30 dni. Wolumen obrotu wzrósł o 167% w ciągu ostatnich sześciu miesięcy.

Grayscale rozszerzył swój fundusz TAO w tym samym tygodniu co ogłoszenie. Ten ruch otworzył szerszy dostęp instytucjonalny bezpośrednio do tokena.

Nastąpiło to w momencie, gdy zainteresowanie inwestorów aktywami kryptowalutowymi związanymi z AI nadal rosło. Timing dodał dodatkowej presji wzrostowej na ruch ceny tokena.

Połączenie wyniku technicznego i zainteresowania instytucjonalnego przyciągnęło szeroką uwagę rynku. Wynik MMLU Covenant-72B daje zdecentralizowanym obliczeniom wiarygodny, testowalny benchmark.

Wynik jest mierzalny i można go odtworzyć w standardowych warunkach. To wyraźnie odróżnia go od wielu wcześniejszych niezweryfikowanych twierdzeń w przestrzeni kryptowalutowej AI.

Wagi na licencji Apache na Hugging Face pozwalają każdemu programiście niezależnie zweryfikować pracę. Podejście Bittensor pokazuje funkcjonujący framework do szkolenia modeli AI kierowanych przez społeczność.

Sieć działała w ponad 70 uczestnikach bez żadnej centralnej koordynacji w żadnym momencie. To ustanawia działający precedens dla rozproszonego szkolenia dużych modeli w przyszłości.

Wpis Bittensor's Subnet 3 Trains 72B AI Model on Decentralized Network pojawił się jako pierwszy na Blockonomi.