Пора переезжать на локальные LLM. Или нет?

Нет большой разницы в инструментах, когда речь идет о создании простеньких чат-ботов. Но когда вы работаете над продуктом посерьезнее, например создаете сложного AI-агента или работаете с чувствительными данными, облачные LLM начинают выставлять счета. И не только финансовые.

Что если переход на локальную инфраструктуру (вроде Ollama) это решение, которое не просто поможет сэкономить, но изменит саму динамику разработки?

Налог на итерацию

Главная проблема в разработке с помощью облачных LLM заключается в психологической и финансовой стоимости ошибки. Во-первых, много стоят токены, разработка тех же AI-агентов требует десятков и сотен вызовов для решения одной задачи. Каждый баг вымывает бюджет.

Во-вторых привязка к конкретному API ограничивает воспроизводимость экспериментов. Если модель на стороне провайдера обновится (или изменится её цензура), ваше решение может сломаться без предупреждения. И не будем забывать, что передача данных создает определенные риски при работе с проприетарным кодом и персональными данными.

Если почитать последние статьи на этот счет и упростить данные последних экспериментов по развертыванию локальных моделей, получается интересная закономерность. Сравнение разработчиков, использующих облачные API, и тех, кто перешел на Ollama, дает следующие результаты:

1. Скорость итераций выше. Если страха перед счетчиком нет, можно проводить в два раза больше экспериментов. Особенно критично при отладке сложных систем, где нужно писать хорошие системные промпты и подбирать корректные параметры квантования.

2. Снижение совокупной стоимости владения. В среднем, при активной разработке, затраты на инфраструктуру снижаются на 33%. Да, вам нужно железо, но оно окупается за счет отсутствия платы за каждый сгенерированный токен.

3. Глубина понимания выше. Работа с модельным зоопарком локально заставляет разобраться, как работают веса, что такое квантование и как архитектура модели влияет на потребление VRAM.

Почему Ollama?

Ollama привнесла в мир LLM уровень комфорта, сравнимый с тем, что Docker сделал для деплоя приложений. Это, по сути, вполне похожий опыт: команда pull, команда run, никаких головных болей с зависимостями и версиями драйверов. Она абстрагирует сложность настройки окружения (CUDA, зависимости, форматы моделей) и предоставляет простой API (localhost:11434), который идентичен по логике работы облачным сервисам, но работает полностью автономно.

Еще пару лет назад запуск LLM был уделом энтузиастов с кластерами A100. Сегодня ситуация изменилась благодаря трем факторам. Оптимизации весов, доступности железа и зрелости софта вроде Ollama. Современные модели типа Mistral, LLaMA, Phi-3 показывают хорошую производительность на обычных ПК, технологии сжатия позволяют запускать модели с 7-14 млрд параметров, практически не теряя в качестве логики для большинства прикладных задач.

Если мы возьмем разработку автономных агентов, а это самый дорогой вид разработки в облаке, агенту нужно сделать в среднем от 5 до 10 вызовов чтобы решить одну задачу (спланировать, вызвать инструмент, проверить результат, отрефлексировать ошибку). Представим что вы ошиблись в цикле и получили бесконечную рекурсию запросов. За ночь может потратиться весь бюджет. Если же мы берем локальный инференс, сами понимаете, каждый запрос стоит ноль.

Ну и да, поскольку вопрос приватности из параноидального перешел в разряд юридического, можно добавить, что использование локальных LLM автоматически решает вопрос соответствия стандартам обработки данных.

А теперь про недостатки

Если бы локальные модели были идеальны во всём, OpenAI уже бы обанкротилась. Главный ограничитель локального инференса это видеопамять. Модели уровня 7B-14B комфортно живут на потребительских 8-12 ГБ VRAM. Но если вам нужна мощная логика уровня Llama 3 70B, тут пожалуйста приготовьте две RTX 3090/4090 или Mac на чипе Ultra. Технически, конечно, запуск тяжелых моделей на процессоре возможен через Ollama, но скорость генерации упадет до 1-2 токенов в секунду.

Плюс да, несмотря на прогресс, локальные модели 8B все еще значительно глупее GPT-4o или Claude 3.5 Sonnet. Они чаще галлюционируют в сложных инструкциях, если ваш агент должен выдавать строгий JSON, локальная модель может случайно добавить лишнюю кавычку или комментарий, сломав ваш парсер и даже если модель поддерживает 128k контекста, локальное железо задохнется при попытке запихнуть в него 20 страниц текста. Потому что скорость падает экспоненциально.

Третья проблема заключается в отсутствии легкого масштабирования, потому что Ollama это инструмент для разработчика или небольшого внутреннего сервиса. Если завтра вашим продуктом начнут пользоваться 1000 человек одновременно, один сервер с Ollama ляжет. Да, здесь облачные провайдеры решают проблему за вас, тогда как локальная инфраструктура требует полноценного DevOps-стека.

Золотая середина заключается в...

...гибридной связке. Нет необходимости сливать бюджет на рутину.

Один из самых крутых сценариев это использование Ollama как первого эшелона защиты. Локальная модель может заниматься предварительной обработкой данных. Убирать персональную информацию, очищать код от проприетарных секретов или просто фильтровать мусорные запросы. В итоге в облако уходит чистый и сжатый контекст, что решает вопросы безопасности и экономит входные токены.

Вместо того чтобы слать каждый чих в тяжелую модель, вы можете реализовать простую логику маршрутизации. Локально классифицировать интенты, извлекать простые сущности из текста, делать саммари по логам или генерировать простые SQL-запросы. Это задачи, с которыми современные модели на 7-8 млрд параметров справляются отлично. А сложный reasoning, многоходовое планирование агента или написание критически важного кода отправляйте в облако.

Польза от искусственного интеллекта в разработке начинается не с красивых демо, а с понимания, где он действительно ускоряет работу, а где создаёт новые риски. На курсе «Искусственный интеллект для разработчиков» как раз разбирают практическое применение: генерацию кода, тестов и документации, работу с локальными моделями и аккуратное встраивание таких инструментов в повседневную разработку.

Чтобы узнать больше о формате обучения и познакомиться с преподавателями, приходите на открытый урок 11 марта в 19:30 на тему «Обзор инфраструктуры Ollama». Участие бесплатное, надо зарегистрироваться.

Полный список бесплатных уроков марта смотрите в дайджесте.