Subnet 3 của Bittensor Huấn luyện Mô hình AI 72B trên Mạng lưới Phi tập trung

TÓM TẮT:

• Covenant-72B đạt điểm 67,1 trên MMLU zero-shot, vượt qua 65,6 của LLaMA-2-70B trong các điều kiện kiểm tra giống hệt nhau.
• SparseLoCo giảm chi phí truyền thông 146 lần bằng cách sử dụng sparsification, lượng tử hóa 2-bit và phản hồi lỗi trên các nút.
• Gauntlet đánh giá đóng góp của mỗi nút thông qua đánh giá loss và xếp hạng OpenSkill, tất cả được ghi lại trên blockchain.
• $TAO tăng 14% lên $236 sau thông báo, với Công ty đầu tư Grayscale Investments mở rộng quỹ tín thác TAO cho các nhà đầu tư tổ chức.
  

Subnet 3 của Bittensor đã huấn luyện một mô hình AI 72 tỷ tham số mà không cần trung tâm dữ liệu tập trung. Mô hình có tên Covenant-72B, được xây dựng trên hơn 70 người tham gia toàn cầu.

Tất cả các nút được kết nối thông qua internet gia đình tiêu chuẩn. Covenant-72B vượt trội hơn LLaMA-2-70B của Meta trên benchmark MMLU, đạt điểm 67,1 so với 65,6.

Bài kiểm tra chạy trong các điều kiện zero-shot giống hệt nhau. Kết quả này thách thức các giả định lâu dài về những gì tính toán phi tập trung có thể đạt được.

Hai Đổi Mới Kỹ Thuật Thúc Đẩy Quá Trình Huấn Luyện Phi Tập Trung

Trong nhiều năm, các dự án AI tiền mã hóa tuyên bố rằng tính toán phi tập trung có thể sánh ngang với các phòng thí nghiệm tập trung. Subnet 3 của Bittensor hiện đã ủng hộ tuyên bố đó bằng các kết quả có thể đo lường được.

Quá trình huấn luyện bao gồm 1,1 nghìn tỷ token trên hơn 70 nút trên toàn thế giới. Mỗi nút chạy trên các kết nối internet thông thường 500 Mb/s.

Hai đổi mới cốt lõi đã làm cho quy mô huấn luyện này trở nên khả thi. SparseLoCo cắt giảm chi phí truyền thông 146 lần trong suốt quá trình.

Nó kết hợp sparsification top-k, lượng tử hóa 2-bit và phản hồi lỗi để giữ tất cả các nút đồng bộ. Không cần máy chủ trung tâm để quản lý sự phối hợp trên toàn mạng.

Đổi mới thứ hai, Gauntlet, xử lý việc chấm điểm niềm tin và đóng góp trong quá trình huấn luyện. Nó đánh giá từng nút thông qua đánh giá loss và xếp hạng OpenSkill.

Tất cả các điểm số được ghi lại trên blockchain để minh bạch hoàn toàn. Điều này mang lại cho mỗi người tham gia một bản ghi có thể xác minh về đóng góp của họ.

Milk Road đã báo cáo về kết quả qua mạng xã hội, lưu ý rằng các mạng phân tán giờ đây có thể huấn luyện các mô hình lớn một cách cạnh tranh. Các trọng số mô hình có sẵn trên Hugging Face theo Giấy phép Apache.

Bất kỳ ai cũng có thể truy cập, sử dụng hoặc xây dựng trên Covenant-72B mà không mất phí. Cách tiếp cận mở đó phân biệt nó với nhiều mô hình AI độc quyền, bị hạn chế hiện có ngày nay.

$TAO Tăng Khi Thị Trường Phản Ứng Với Kết Quả Covenant-72B

Thị trường di chuyển nhanh chóng sau khi tin tức về quá trình huấn luyện Covenant-72B được công bố rộng rãi. $TAO, token gốc của Bittensor, tăng 14% để đạt $236 sau thông báo.

Token cũng đã tăng 36% trong khoảng thời gian 30 ngày trước đó. Khối lượng giao dịch tăng 167% trong sáu tháng qua.

Grayscale Investments mở rộng quỹ tín thác TAO trong cùng tuần với thông báo. Động thái đó mở ra khả năng tiếp cận rộng hơn của các tổ chức với token một cách trực tiếp.

Nó xảy ra khi sự quan tâm của nhà đầu tư đối với các tài sản kỹ thuật số liên quan đến AI tiếp tục tăng lên. Thời điểm này tạo thêm áp lực tăng lên cho chuyển động giá của token.

Sự kết hợp giữa kết quả kỹ thuật và sự quan tâm của tổ chức đã thu hút sự chú ý rộng rãi của thị trường. Điểm số MMLU của Covenant-72B mang lại cho tính toán phi tập trung một benchmark đáng tin cậy và có thể kiểm tra được.

Kết quả có thể đo lường được và có thể được tái tạo trong các điều kiện tiêu chuẩn. Điều đó phân biệt rõ ràng nó với nhiều tuyên bố chưa được xác minh trước đó trong không gian AI tiền mã hóa.

Các trọng số được cấp phép Apache trên Hugging Face cho phép bất kỳ nhà phát triển nào xác minh công việc một cách độc lập. Cách tiếp cận của Bittensor cho thấy một khung hoạt động cho việc huấn luyện mô hình AI dựa trên cộng đồng.

Mạng chạy trên hơn 70 người tham gia mà không có sự phối hợp trung tâm tại bất kỳ thời điểm nào. Điều này tạo ra một tiền lệ hoạt động cho việc huấn luyện mô hình lớn phân tán trong tương lai.

Bài viết Subnet 3 của Bittensor Huấn Luyện Mô Hình AI 72B Trên Mạng Phi Tập Trung xuất hiện đầu tiên trên Blockonomi.