Когда использовать малые языковые модели вместо больших языковых моделей

Большие языковые модели (LLMs) продолжают балансировать между эффективностью и доверием. Пользователи считают их эффективными, но сомневаются в их точности.

Они также могут быть избыточными для некоторых случаев использования. Например, использование LLMs может не быть лучшим выбором для всех внутренних задач HR, учитывая их высокие вычислительные затраты.

На фоне всех этих противоречий набирает популярность новый тип моделей: малые языковые модели (SLMs). Это более простые модели, обученные на меньшем наборе данных для выполнения очень конкретной функции. Они отвечают всем требованиям высокой эффективности, большего доверия и низкой стоимости.

Некоторые недавние исследования также говорят, что малые языковые модели — это будущее агентного ИИ. В этой статье я перечислил случаи использования, где SLM будет эффективнее, чем LLM.

Лучшие случаи использования SLM в различных бизнес-функциях

Если вы задаетесь вопросом, с чего начать свой путь с SLM, я собрал лучшие случаи использования SLM для распространенных бизнес-функций ниже. 

Служба поддержки клиентов

Модели LLM могут быть полезны для обслуживания клиентов, но с серьезными оговорками. Эти модели предварительно обучены на огромном наборе данных, часто собранном из интернета. Некоторые из этих знаний могут быть применимы или не применимы к вашему обслуживанию клиентов, особенно когда политики компании специфичны. Вы рискуете получить чат-боты для клиентов, которые галлюцинируют. Например, чат-бот службы поддержки на сайте Air Canada пообещал клиенту возмещение в связи с утратой, хотя такой политики никогда не существовало.

SLMs имеют больше смысла для клиентских чат-ботов и порталов жалоб. Эти порталы часто имеют дело с очень повторяющимися проблемами/запросами и имеют ограниченный репозиторий корпоративных политик для ссылок. Модель можно легко обучить на данных прошлых клиентских тикетов и корпоративных политиках. Этого достаточно, чтобы модель отвечала клиентам.

Конечно, SLM не может справиться со всем, и там, где бот не может ответить на запрос, вы всегда можете привлечь человека. Если это чат-бот, вы можете предоставить номер поддержки, по которому клиент может позвонить. Если это платформа управления тикетами, тикет может быть автоматически разрешен, если это известная проблема для SLM, или назначен сотруднику службы поддержки клиентов. По крайней мере, вы можете быть уверены, что автоматизация не обещает клиенту то, что невозможно.

​Продажи/Маркетинг 

LLMs определенно превосходят в некоторых случаях использования в продажах и маркетинге, особенно при создании контента. Больший объем обучающих данных помогает справляться с различными темами. Но использование LLMs для более узких задач, таких как квалификация/развитие лидов и персонализированное обращение, может быть не лучшим выбором. Их обобщенные ответы не произведут хорошего впечатления на ваших потенциальных клиентов.

SLM помогает создавать более персонализированные сообщения для обращения. Ее можно обучить на вашем собственном наборе данных для квалификации лидов. Вы можете составить несколько сообщений для обращения, которые работали для вас в прошлом, и использовать модели SLM для генерации дальнейших сообщений на их основе. SLMs помогают отойти от общих сообщений ИИ.

Финансы 

LLMs можно использовать для общего анализа рынка. Но они отстают в задачах с высоким риском, таких как обнаружение мошенничества и мониторинг соответствия. Уровень мошенничества растет как в потребительских, так и в бизнес-аккаунтах. Несмотря на то, что компании создают системы обнаружения мошенничества, мошенники продолжают находить новые способы обхода. Модель требует постоянного переобучения. Именно здесь SLM блистает, а LLM отходит на второй план.

Переобучение LLM требует больше времени и ресурсов по сравнению с SLM. SLM может постоянно обновляться с последними данными о мошенничестве, чтобы сделать систему более надежной.

То же самое касается данных о соответствии. LLMs могут даже иметь устаревшую информацию о соответствии, что приводит к пропускам. SLM, обученная на небольшом наборе данных, легко проверяется и уточняется, чтобы гарантировать, что в базе знаний доступны только последние правила.

Человеческие ресурсы 

LLMs отлично подходят для составления общих описаний вакансий, коммуникации с сотрудниками или обучающего контента. Задачи с высокими рисками соответствия (например: создание документов политики, трудовых соглашений и иммиграционных документов) — это то, где все становится сложным.

Страны или даже штаты постоянно обновляют свои трудовые законы. Например, правительство Австралии увеличило отпуск по уходу за ребенком до 24 недель в 2025 году, и он будет продлен еще на две недели начиная с 2026 года. Нью-Йорк недавно повысил минимальную почасовую оплату для работников гиг-экономики. Япония начала продвигать баланс между работой и личной жизнью и гибкие рабочие условия для новых родителей.

Использование LLMs означает постоянную проверку того, что база знаний в бэкенде точна и актуальна. Случайное исключение любого старого файла политики из базы данных приведет к галлюцинациям.  

Малые языковые модели означают гораздо больший контроль над базой знаний и большую уверенность в соответствии. Например, Deel AI — это малая языковая модель, курируемая ее экспертами по соответствию. Эти эксперты постоянно обновляют базу знаний, чтобы вы получали самые актуальные и точные ответы.

Бизнес-операции

Новый опрос G2 по внедрению ИИ показывает, что почти 75% предприятий используют несколько функций ИИ в повседневных бизнес-операциях. ИИ повышает операционную эффективность и улучшает производительность. И SLM, и LLM играют в этом свою роль.

LLMs блистают в стратегических задачах, таких как управление рисками, прогнозирование спроса, проверка поставщиков и многое другое. Их обширная база знаний помогает рассмотреть все аспекты перед тем, как сделать предложение. С другой стороны, SLM лучше всего работает для повторяющейся черновой работы. Подумайте об управлении счетами, отслеживании отправлений, оптимизации маршрутов, проверке биографических данных или профилактическом обслуживании. Задачи могут выполняться на ограниченном наборе правил и прошлых данных компании.

Компании получают выгоду от использования SLM в рутинных, повторяющихся задачах. Например, Checkr, платформа для проверки биографических данных сотрудников, перешла с LLM на SLM для автоматизации проверок биографических данных и увидела лучшую точность, более быстрое время отклика и 5-кратное снижение затрат.

SLM против LLM: Кто побеждает в битве?

В сравнении SLM и LLM ответ не в том, чтобы выбирать между SLM и LLM. Лучший подход — использовать их вместе как гибридную модель. И SLM, и LLM имеют свои сильные и слабые стороны. SLM хорошо справляется с задачами с четко определенными областями и ограниченными наборами данных. Но для задач, требующих рассуждений, LLM — гораздо лучший выбор.

Возьмем, например, управление цепочкой поставок. Гибридный подход лучше для управления цепочкой поставок, где:

• LLM берет на себя стратегические задачи, такие как анализ рисков, прогнозирование спроса и многое другое
• SLM автоматизирует высокообъемные и повторяющиеся операционные задачи, такие как управление маршрутами, обработка счетов и т.д.

Использование SLM и LLM вместе создает полную модель для обработки всех деталей цепочки поставок. ​

Лучшие модели SLM, готовые для пользовательского обучения

Хорошая вещь в начале работы с вашей реализацией SLM заключается в том, что существуют модели, доступные для тонкой настройки. Вы можете выбрать одну из них в зависимости от вашего случая использования:

1. Meta Llama 3.1 (8B параметров): Высокоэффективная модель, которая выделяется для случаев использования, требующих многоязычной поддержки
2. Microsoft Phi-3 (3.8B параметров): Крошечная модель, идеальная, когда у вас есть сверхспецифическая задача, требующая сильного рассуждения.
3. Google Gemma 2 (2B параметров): Легкая модель с мультимодальными возможностями, помогающая обрабатывать как текст, так и изображения.

Использование SLMs никогда не было таким простым

С появлением все большего количества моделей SLM вам даже не нужно создавать модель с нуля. Просто выберите существующую модель, которая соответствует вашему случаю использования, создайте для нее базу знаний, и вы готовы к работе.  

\n