Tether запускает кроссплатформенный фреймворк BitNet LoRA, позволяющий обучать и выполнять инференс ИИ-моделей с миллиардами параметров на потребительских устройствах

Эмитент стейблкоина USDT компания Tether объявила о запуске того, что она описывает как первый кросс-платформенный фреймворк тонкой настройки LoRA, разработанный для моделей Microsoft BitNet, которые основаны на 1-битной архитектуре больших языковых моделей. Эта возможность интегрирована в систему QVAC Fabric и, как сообщается, значительно снижает как использование памяти, так и вычислительные требования. По словам компании, эта разработка позволяет выполнять тонкую настройку крупномасштабных языковых моделей, включая модели с миллиардами параметров, используя широко доступное потребительское оборудование, такое как ноутбуки, стандартные графические процессоры и современные смартфоны.

Разработка и обслуживание систем искусственного интеллекта традиционно требовали оборудования корпоративного уровня, особенно специализированной инфраструктуры NVIDIA или облачных вычислений. Эти требования способствовали высоким операционным расходам, ограничивая доступ к передовой разработке ИИ в основном крупными организациями со значительными финансовыми ресурсами и доступом к специализированным вычислительным системам.

Tether заявила, что её большая языковая модель QVAC Fabric, улучшенная недавно представленным фреймворком на основе BitNet, устраняет эти ограничения, поддерживая кросс-платформенную тонкую настройку LoRA и ускоряя вывод на различных гетерогенных потребительских графических процессорах. К ним относится оборудование Intel, AMD и Apple Silicon, среди прочих. В результате пользователи могут обучать и настраивать модели ИИ непосредственно на общедоступных потребительских устройствах, а не полагаться на централизованную инфраструктуру.

Компания сообщила, что её инженерная команда впервые успешно продемонстрировала тонкую настройку BitNet на мобильных графических процессорах, включая такие платформы, как графические процессоры Adreno, Mali и Apple Bionic. Внутреннее тестирование показало, что модель BitNet с 125 миллионами параметров может быть тонко настроена примерно за десять минут на устройстве Samsung S25, оснащённом графическим процессором Adreno, с использованием биомедицинского набора данных, состоящего примерно из 300 документов или около 18 000 токенов. Для модели с 1 миллиардом параметров тот же набор данных потребовал приблизительно один час восемнадцать минут на Samsung S25 и один час сорок пять минут на iPhone 16. Компания также сообщила, что смогла расширить тестирование до моделей размером до 13 миллиардов параметров на iPhone 16 при максимальной ёмкости устройства.

Достижения в граничном обучении ИИ и оптимизации производительности

Дальнейшие результаты показывают, что фреймворк может поддерживать тонкую настройку моделей размером до двух раз больше сопоставимых моделей не-BitNet, работающих при квантовании Q4 на граничных устройствах. Этот результат объясняется уменьшенным объёмом памяти, связанным с архитектурой BitNet.

Помимо улучшений в обучении, фреймворк также демонстрирует улучшенную производительность вывода. Тесты, проведённые на мобильных устройствах, показали, что модели BitNet работают значительно быстрее при выполнении на графических процессорах, со скоростью обработки от двух до одиннадцати раз выше, чем при выполнении на центральном процессоре. Эти результаты указывают на то, что мобильные графические процессоры всё больше способны обрабатывать рабочие нагрузки, которые ранее требовали специализированного оборудования или ресурсов уровня центров обработки данных.

Система также показывает заметный прирост эффективности использования памяти. Бенчмарк данные показывают, что модель BitNet-1B, использующая конфигурацию TQ1_0, требует до 77,8 процента меньше VRAM по сравнению с 16-битной моделью Gemma-3-1B и 65,6 процента меньше, чем 16-битная модель Qwen3-0.6B во время процессов вывода и тонкой настройки LoRA. Эти сокращения обеспечивают дополнительную ёмкость для запуска более крупных моделей и включения настраиваемых функций на оборудовании, которое ранее считалось бы недостаточным.

Tether далее указала, что фреймворк впервые вводит возможности тонкой настройки LoRA для 1-битных больших языковых моделей на оборудовании, отличном от NVIDIA, расширяя совместимость на платформы AMD, Intel, Apple Silicon и мобильные графические процессоры. Снижая зависимость от специализированной инфраструктуры и облачных вычислений, подход позволяет конфиденциальным данным оставаться сохранёнными локально на пользовательских устройствах. Компания отметила, что эта эффективность может также поддерживать развитие федеративных систем обучения, в которых модели могут обучаться совместно на распределённых устройствах, сохраняя конфиденциальность данных и минимизируя зависимость от централизованных систем.

Пост «Tether запускает кросс-платформенный фреймворк BitNet LoRA, обеспечивающий обучение и вывод ИИ с миллиардами параметров на потребительских устройствах» впервые появился на Metaverse Post.