Коли використовувати малі мовні моделі замість великих мовних моделей

Великі мовні моделі (LLMs) продовжують балансувати між ефективністю та довірою. Користувачі вважають їх ефективними, але сумніваються в їх точності.

Вони також можуть бути надмірними для деяких випадків використання. Наприклад, використання LLMs може не бути найкращим вибором для всіх внутрішніх завдань HR, враховуючи їх високі обчислювальні витрати.

У всіх цих конфліктах набирає популярності новий тип моделі: малі мовні моделі (SLMs). Це простіші моделі, навчені на меншому наборі даних для виконання дуже конкретної функції. Вони відповідають усім вимогам щодо високої ефективності, більшої довіри та низької вартості.

Деякі нещодавні дослідження також стверджують, що малі мовні моделі є майбутнім агентного ШІ. У цій статті я перерахував випадки використання, де SLM буде ефективнішою за LLM.

Найкращі випадки використання SLM у різних бізнес-функціях

Якщо ви думаєте, з чого почати свій шлях з SLM, я зібрав найкращі випадки використання SLM для поширених бізнес-функцій нижче. 

Служба підтримки клієнтів

Моделі LLM можуть бути корисними для обслуговування клієнтів, але з серйозними застереженнями. Ці моделі попередньо навчені на величезному наборі даних, часто зібраних з інтернету. Деякі з цих знань можуть бути застосовними або не застосовними до вашого обслуговування клієнтів, особливо коли політики компанії є специфічними. Ви ризикуєте мати чат-боти для клієнтів, які галюцинують. Наприклад, чат-бот служби підтримки клієнтів на веб-сайті Air Canada's пообіцяв клієнту відшкодування у зв'язку з втратою близької людини всупереч політиці, якої ніколи не існувало.

SLMs мають більше сенсу для клієнтських чат-ботів та порталів скарг. Ці портали часто мають справу з дуже повторюваними проблемами/запитами і мають обмежений репозиторій політик компанії, на які можна посилатися. Модель можна легко навчити на даних минулих клієнтських запитів та політиках компанії. Цього достатньо, щоб модель відповідала клієнтам.

Звичайно, SLM не може впоратися з усім, і там, де бот не може відповісти на запит, ви завжди можете залучити людину. Якщо це чат-бот, ви можете надати номер підтримки, за яким клієнт може зателефонувати. Якщо це платформа управління запитами, запит може бути автоматично вирішений, якщо це відома проблема для SLM, або призначений співробітнику служби підтримки клієнтів. Принаймні, ви можете бути впевнені, що автоматизація не обіцяє клієнту того, що неможливо.

​Продажі/Маркетинг 

LLMs, безумовно, відмінно підходять для деяких випадків використання в продажах і маркетингу, особливо для створення контенту. Більший обсяг навчальних даних допомагає обробляти різні теми. Але використання LLMs для більш нішевих завдань, таких як кваліфікація/розвиток лідів та персоналізоване звернення, може не бути найкращим вибором. Їх узагальнені відповіді не справлять хорошого враження на ваших потенційних клієнтів.

SLM допомагає створювати більш персоналізовані повідомлення для звернення. Її можна навчити на вашому власному наборі даних для кваліфікації лідів. Ви можете скласти кілька повідомлень для звернення, які працювали для вас у минулому, і використовувати моделі SLM для створення подальших повідомлень на їх основі. SLMs допомагають відійти від загальних повідомлень для звернення на основі ШІ.

Фінанси 

LLMs можна використовувати для загального аналізу ринку. Але вони відстають у високоризикових завданнях, таких як виявлення шахрайства та моніторинг відповідності. Рівень шахрайства зростає як на споживчих, так і на бізнес-рахунках. Незважаючи на те, що компанії створюють системи виявлення шахрайства, шахраї продовжують знаходити нові способи обходу. Модель потребує постійного перенавчання. Саме тут SLM сяє, а LLM відходить на другий план.

Перенавчання LLM займає більше часу та ресурсів порівняно з SLM. SLM можна постійно оновлювати найновішими даними про шахрайство, щоб зробити систему більш надійною.

Те ж саме стосується даних про відповідність. LLMs можуть навіть мати застарілу інформацію про відповідність, що призводить до пропусків. SLM, навчену на невеликому наборі даних, легко переглядати та вдосконалювати, щоб забезпечити наявність у базі знань лише найновіших правил.

Людські ресурси 

LLMs чудово підходять для складання загальних описів вакансій, спілкування з працівниками або навчального контенту. Завдання з високими ризиками відповідності (наприклад: створення документів політики, трудових договорів та імміграційних документів) - це те, де все стає складним.

Країни або навіть штати постійно оновлюють свої трудові закони.  Наприклад, уряд Австралії збільшив відпустку по догляду за дитиною до 24 тижнів у 2025 році, і вона буде продовжена ще на два тижні, починаючи з 2026 року. Нью-Йорк нещодавно підвищив мінімальну погодинну оплату праці для працівників гіг-економіки. Японія почала сприяти балансу між роботою та особистим життям та гнучким робочим домовленостям для нових батьків.

Використання LLMs означає постійну перевірку того, що база знань на бекенді є точною та актуальною. Випадкове залишення будь-якого старого файлу політики в базі даних призведе до галюцинацій.  

Малі мовні моделі означають набагато більший контроль над базою знань і більшу впевненість у відповідності. Наприклад, Deel AI - це мала мовна модель, створена її експертами з відповідності. Ці експерти постійно оновлюють базу знань, щоб ви отримували найактуальніші та точні відповіді.

Бізнес-операції

Нове опитування G2 щодо впровадження ШІ показує, що майже 75% підприємств використовують кілька функцій ШІ у щоденних бізнес-операціях. ШІ підвищує операційну ефективність та покращує продуктивність. І SLM, і LLM відіграють у цьому свою роль.

LLMs відмінно справляються зі стратегічними завданнями, такими як управління ризиками, прогнозування попиту, перевірка постачальників тощо. Їх величезна база знань допомагає розглянути всі аспекти перед тим, як зробити пропозицію. З іншого боку, SLM найкраще працює для повторюваної рутинної роботи. Подумайте про управління рахунками, відстеження відправлень, оптимізацію маршрутів, перевірку біографічних даних або прогнозне обслуговування. Завдання можуть виконуватися на обмеженому наборі правил та минулих даних компанії.

Компанії отримують користь від використання SLM у рутинних, повторюваних завданнях. Наприклад, Checkr, платформа для перевірки біографічних даних працівників, перейшла з LLM на SLM для автоматизації перевірок біографічних даних і побачила кращу точність, швидші часи відповіді та 5-кратне зниження витрат.

SLM проти LLM: Хто виграє битву?

У порівнянні SLM та LLM відповідь полягає не в тому, щоб вибирати між SLM та LLM. Кращий підхід - використовувати їх разом як гібридну модель. І SLM, і LLM мають свої сильні та слабкі сторони. SLM добре справляється з завданнями з чітко визначеними обсягами та обмеженими наборами даних. Але для завдань, що вимагають міркування, LLM є набагато кращим вибором.

Візьмемо, наприклад, управління ланцюгом поставок. Гібридний підхід краще підходить для управління ланцюгом поставок, де:

• LLM бере на себе стратегічні завдання, такі як аналіз ризиків, прогнозування попиту тощо
• SLM автоматизує високооб'ємні та повторювані операційні завдання, такі як управління маршрутами, обробка рахунків тощо.

Використання SLM та LLM разом створює повну модель для обробки всіх деталей ланцюга поставок. ​

Найкращі моделі SLM, готові для індивідуального навчання

Одна хороша річ щодо початку впровадження SLM полягає в тому, що існують моделі, доступні для тонкого налаштування. Ви можете вибрати одну з них залежно від вашого випадку використання:

1. Meta Llama 3.1 (8B параметрів): Модель високої ефективності, яка виділяється для випадків використання, що вимагають багатомовної підтримки
2. Microsoft Phi-3 (3.8B параметрів): Крихітна модель, ідеальна, коли у вас є надзвичайно конкретне завдання, що вимагає сильного міркування.
3. Google Gemma 2 (2B параметрів): Легка модель з мультимодальними можливостями, що допомагає обробляти як текст, так і зображення.

Використання SLMs ніколи не було таким легким

З появою більшої кількості моделей SLM вам навіть не потрібно створювати жодну модель з нуля. Просто виберіть існуючу модель, яка відповідає вашому випадку використання, створіть для неї базу знань інформації, і ви готові до роботи.  

\n