Subnet 3 ของ Bittensor ฝึกโมเดล AI ขนาด 72B บนเครือข่ายแบบกระจายศูนย์

สรุปสั้น:

• Covenant-72B ทำคะแนนได้ 67.1 บน MMLU zero-shot เอาชนะ LLaMA-2-70B ที่ทำได้ 65.6 ภายใต้เงื่อนไขการทดสอบเดียวกัน
• SparseLoCo ลดภาระการสื่อสารลง 146 เท่า โดยใช้ sparsification, 2-bit quantization และ error feedback ระหว่างโหนด
• Gauntlet ให้คะแนนการมีส่วนร่วมของทุกโหนดผ่าน loss evaluation และ OpenSkill ranking โดยบันทึกทั้งหมดบนบล็อกเชน
• $TAO เพิ่มขึ้น 14% เป็น $236 หลังการประกาศ โดย Grayscale ขยาย TAO trust เพื่อให้นักลงทุนสถาบันเข้าถึงได้
  

Subnet 3 ของ Bittensor ได้ฝึกโมเดล AI ขนาด 72 พันล้านพารามิเตอร์โดยไม่มีศูนย์ข้อมูลกลาง โมเดลที่มีชื่อว่า Covenant-72B ถูกสร้างขึ้นโดยผู้เข้าร่วมทั่วโลกกว่า 70 คน

โหนดทั้งหมดเชื่อมต่อผ่านอินเทอร์เน็ตบ้านมาตรฐาน Covenant-72B มีประสิทธิภาพเหนือกว่า LLaMA-2-70B ของ Meta บนเกณฑ์มาตรฐาน MMLU ด้วยคะแนน 67.1 เทียบกับ 65.6

การทดสอบดำเนินการภายใต้เงื่อนไข zero-shot เดียวกัน ผลลัพธ์นี้ท้าทายสมมติฐานที่มีมานานเกี่ยวกับสิ่งที่การคำนวณแบบกระจายอำนาจสามารถทำได้

นวัตกรรมทางเทคนิคสองอย่างขับเคลื่อนการฝึกแบบกระจายอำนาจ

เป็นเวลาหลายปีที่โครงการ AI crypto อ้างว่าการคำนวณแบบกระจายอำนาจสามารถเทียบเท่ากับห้องปฏิบัติการแบบรวมศูนย์ได้ Subnet 3 ของ Bittensor ตอนนี้สนับสนุนข้อกล่าวอ้างนั้นด้วยผลลัพธ์ที่วัดได้

การฝึกครอบคลุม 1.1 ล้านล้านโทเค็นข้ามโหนดกว่า 70 โหนดทั่วโลก ทุกโหนดทำงานบนการเชื่อมต่ออินเทอร์เน็ตทั่วไป 500 Mb/s

นวัตกรรมหลักสองอย่างทำให้การฝึกในระดับนี้เป็นไปได้ SparseLoCo ลดภาระการสื่อสารลง 146 เท่าตลอดกระบวนการ

มันรวม top-k sparsification, 2-bit quantization และ error feedback เพื่อให้โหนดทั้งหมดทำงานประสานกัน ไม่จำเป็นต้องมีเซิร์ฟเวอร์กลางในการจัดการการประสานงานข้ามเครือข่าย

นวัตกรรมที่สอง Gauntlet จัดการความไว้วางใจและการให้คะแนนการมีส่วนร่วมระหว่างการฝึก มันประเมินแต่ละโหนดผ่าน loss evaluation และ OpenSkill ranking

คะแนนทั้งหมดถูกบันทึกบนบล็อกเชนเพื่อความโปร่งใสอย่างเต็มที่ สิ่งนี้ทำให้ผู้เข้าร่วมทุกคนมีบันทึกที่สามารถตรวจสอบได้ของการมีส่วนร่วมของพวกเขา

Milk Road รายงานเกี่ยวกับผลลัพธ์ผ่านโซเชียลมีเดีย โดยสังเกตว่าเครือข่ายแบบกระจายตอนนี้สามารถฝึกโมเดลขนาดใหญ่ได้อย่างมีการแข่งขัน น้ำหนักของโมเดลมีให้บน Hugging Face ภายใต้ Apache License

ทุกคนสามารถเข้าถึง ใช้งาน หรือสร้างบน Covenant-72B ได้โดยไม่มีค่าใช้จ่าย แนวทางแบบเปิดนั้นแยกมันออกจากโมเดล AI แบบกรรมสิทธิ์และถูกจำกัดหลายโมเดลที่มีอยู่ในปัจจุบัน

$TAO เพิ่มขึ้นขณะที่ตลาดตอบสนองต่อผลลัพธ์ของ Covenant-72B

ตลาดเคลื่อนไหวอย่างรวดเร็วหลังจากข่าวการฝึก Covenant-72B แพร่กระจายต่อสาธารณะ $TAO โทเค็นดั้งเดิมของ Bittensor เพิ่มขึ้น 14% ถึง $236 หลังการประกาศ

โทเค็นยังได้รับ 36% ในช่วง 30 วันที่ผ่านมา ปริมาณการซื้อขายเพิ่มขึ้น 167% ในช่วงหกเดือนที่ผ่านมา

Grayscale ขยาย TAO trust ในช่วงสัปดาห์เดียวกับการประกาศ การเคลื่อนไหวนั้นเปิดการเข้าถึงของสถาบันที่กว้างขึ้นต่อโทเค็นโดยตรง

มันเกิดขึ้นในขณะที่ความสนใจของนักลงทุนในสินทรัพย์ crypto ที่เชื่อมโยงกับ AI ยังคงเติบโต การกำหนดเวลาเพิ่มแรงกดดันขึ้นต่อการเคลื่อนไหวของราคาโทเค็น

การรวมกันของผลลัพธ์ทางเทคนิคและความสนใจของสถาบันดึงดูดความสนใจของตลาดอย่างกว้างขวาง คะแนน MMLU ของ Covenant-72B ให้เกณฑ์มาตรฐานที่น่าเชื่อถือและทดสอบได้แก่การคำนวณแบบกระจายอำนาจ

ผลลัพธ์สามารถวัดได้และสามารถทำซ้ำได้ภายใต้เงื่อนไขมาตรฐาน นั่นแยกมันออกอย่างชัดเจนจากข้อกล่าวอ้างที่ไม่ได้รับการตรวจสอบมากมายก่อนหน้านี้ในพื้นที่ AI crypto

น้ำหนักที่ได้รับอนุญาต Apache บน Hugging Face อนุญาตให้นักพัฒนาใดๆ ตรวจสอบงานได้อย่างอิสระ แนวทางของ Bittensor แสดงกรอบการทำงานที่ใช้งานได้สำหรับการฝึกโมเดล AI ที่ขับเคลื่อนโดยชุมชน

เครือข่ายทำงานข้ามผู้เข้าร่วม 70 คนขึ้นไปโดยไม่มีการประสานงานกลางในจุดใดๆ สิ่งนี้ตั้งบรรทัดฐานการทำงานสำหรับการฝึกโมเดลขนาดใหญ่แบบกระจายไปข้างหน้า

โพสต์ Bittensor's Subnet 3 Trains 72B AI Model on Decentralized Network ปรากฏครั้งแรกบน Blockonomi